[論文レビュー] Privacy Protection in Street-View Panoramas using Depth and Multi-View Imagery

Ries Uittenbogaard, Clint Sebastian+4 more|arXiv (Cornell University)|Mar 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 54

ひとこと要約

本論文は、ブラーの代替として、街路ビューのパノラマから移動物体を自動的に除去し、マルチビュー情報を用いて背景を補完するフレームワークを提案する。深度整合性を持つ移動物体のセグメンテーションとマルチビュー補完GANを組み合わせ、1000画像データセットで評価する。

ABSTRACT

The current paradigm in privacy protection in street-view images is to detect and blur sensitive information. In this paper, we propose a framework that is an alternative to blurring, which automatically removes and inpaints moving objects (e.g. pedestrians, vehicles) in street-view imagery. We propose a novel moving object segmentation algorithm exploiting consistencies in depth across multiple street-view images that are later combined with the results of a segmentation network. The detected moving objects are removed and inpainted with information from other views, to obtain a realistic output image such that the moving object is not visible anymore. We evaluate our results on a dataset of 1000 images to obtain a peak noise-to-signal ratio (PSNR) and L1 loss of 27.2 dB and 2.5%, respectively. To ensure the subjective quality, To assess overall quality, we also report the results of a survey conducted on 35 professionals, asked to visually inspect the images whether object removal and inpainting had taken place. The inpainting dataset will be made publicly available for scientific benchmarking purposes at https://research.cyclomedia.com

研究の動機と目的

• ストリートビュー画像におけるブラーを超えたプライバシー保護を動機づけ、移動物体を除去して背景を補完する。
• 複数視点間の深度整合性を活用する移動物体セグメンテーション手法を開発する。
• 他視点の情報を利用して実在感のある補完を生むマルチビュー補完GANを設計する。
• 定量的評価（PSNR、L1損失）と専門家調査による定性的評価を実施する。
• benchmarking用のオープンなインペインティングデータセットを提供する。

提案手法

• FC-VGGNetベースの移動物体セグメンテーションと近傍フレームの深度増強再投影を組み合わせて、移動領域を検出する。
• 現在の画像と再投影された近隣ビュー間の高レベル特徴を比較して移動物体スコアを計算し、マスク済みスコアの閾値で移動物体を分類する。
• 検出された移動領域を除去し、他視点からの再投影内容と穴埋め済み画像を入力とするマルチビューGANを用いてインペインティングを行う。
• 粗い16チャンネル入力（I_t, B_t^h, I_hat_t'→t）でGANを訓練し、グローバルおよびローカルの2つディスクリミネータと改良WGAN-GP目的関数、空間的に割引されたL1損失を採用する。
• ground-truthに対するPSNR、L1損失による評価と、現実感とプライバシー保護感を測る専門家調査を実施する。

実験結果

リサーチクエスチョン

• RQ1 深度整合性を持つマルチビュー情報を用いることで、ストリートビューのパノラマにおける移動物体を信頼性高く検出できるか。
• RQ2 マルチビュー補完は単一視点や文脈ベースの補完よりも、より現実味がありプライバシー保護に適した補完を生み出すか。
• RQ3 マルチビュー補完による移動物体除去の定量的な利得（PSNR、L1損失）と、知覚品質はどうなるか。
• RQ4 オープンなインペインティングデータセットは、マルチビュー補完手法のベンチマーキングとして十分か。

主な発見

• 1000画像のテストセットで、インペインティング品質のPSNRは27.2 dB、L1損失は2.5%を達成。
• 移動物体セグメンテーションは、設定に応じて平均IoUが約0.58〜0.80、FC-VGGNetのエンコーダーレイヤー4が最良の移動物体識別を提供。
• マルチビュー指向の補完は視覚的に説得力のある結果を生み出し、専門家35名のユーザー調査では、ケースによっては欠陥を検出できるものの、プライバシー保護効果と欠陥の監視点を示す。
• 提案手法は物体の同一性を排除しつつブラーアーティファクトを低減し、商用適用における背景のリアリズムを維持している。