[論文レビュー] DeOccNet: Learning to See Through Foreground Occlusions in Light Fields

Yingqian Wang, Tianhao Wu+4 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Vision and Imaging参考文献 37被引用数 6

ひとこと要約

DeOccNetは、多視点の補完的情報を活用し、合成データ拡張を用いて前面のオクルージョンを除去する、光場のオクルージョン除去のための初めてのディープラーニングベースの手法である。エンコーダ・デコーダ構造に残差アトラス空間的ピラミッドプーリング（ASPP）を組み合わせ、中心視点のサブアパーチャー画像（SAI）をオクルージョンなしで再構築する。合成および実世界の光場データセットにおいて、従来手法を大きく上回るPSNRおよびSSIM性能を達成している。

ABSTRACT

Background objects occluded in some views of a light field (LF) camera can be seen by other views. Consequently, occluded surfaces are possible to be reconstructed from LF images. In this paper, we handle the LF de-occlusion (LF-DeOcc) problem using a deep encoder-decoder network (namely, DeOccNet). In our method, sub-aperture images (SAIs) are first given to the encoder to incorporate both spatial and angular information. The encoded representations are then used by the decoder to render an occlusionfree center-view SAI. To the best of our knowledge, DeOccNet is the first deep learning-based LF-DeOcc method. To handle the insufficiency of training data, we propose an LF synthesis approach to embed selected occlusion masks into existing LF images. Besides, several synthetic and realworld LFs are developed for performance evaluation. Experimental results show that, after training on the generated data, our DeOccNet can effectively remove foreground occlusions and achieves superior performance as compared to other state-of-the-art methods. Source codes are available at: https://github.com/YingqianWang/DeOccNet.

研究の動機と目的

• 複雑なシーン構造のため従来手法が失敗する光場におけるオクルージョン表面の再構築を、ディープラーニングを用いて解決すること。
• 除去可能な前面オクルージョンを含む大規模なアノテート済み光場データセットの不足を克服すること。
• サブアパーチャー画像間の空間的および角度的情報を効果的に活用し、オクルージョンの背後に位置する欠損領域を推定すること。
• オクルージョンなしの中心視点を教師データとして用いることで、エンド・ツー・エンドの学習を可能にし、差し引きに基づくオクルージョン検出と除去を学習できるようにすること。

提案手法

• ネットワークは、すべてのサブアパーチャー画像（SAIs）をチャネル次元に沿って連結することで、空間的および角度的情報を保持するエンコーダ・デコーダアーキテクチャを採用している。
• オクルージョンの形状やスケールにかかわらず対応できるよう、エンコーダに残差アトラス空間的ピラミッドプーリング（ASPP）モジュールを統合し、マルチスケール特徴抽出と受容 field の拡大を実現している。
• ダウンサンプリングによる高周波数および低レベルの詳細の損失を補うために、エンコーダとデコーダのブロック間にスキップ接続を設けている。
• 独自のデータ合成手法により、既存の光場画像に実際のオクルージョンマスクを埋め込み、1,000枚を超える合成光場（LF）を生成し、データ不足を克服している。
• オクルージョンなしの中心視点SAIを教師データとして用い、エンド・ツー・エンドに学習することで、差し引きの差異を利用して前面オクルージョンを検出し、除去できるようにモデルを学習している。
• 単一視点の事前知識に依存するのではなく、視点間の差し引き差異に依存することで、斜めや貫通型のオクルージョンを含む未学習のシーンに対しても良好な一般化性能を示している。

Figure 1: An illustration of LF-DeOcc using our rendered scenes Syn01 . (a) Configuration of the scene. Yellow boxes with $5\times 5$ blocks represent camera arrays. (b) Occluded center-view SAI. (c) Results of our DeOccNet . (d) Occlusion-free groundtruth.

実験結果

リサーチクエスチョン

• RQ1 複数視点からの補完的情報を活用することで、ディープラーニングモデルが光場におけるオクルージョン表面を効果的に再構築できるか？
• RQ2 大規模な実世界の光場データセット（除去可能なオクルージョンを含む）が入手できない状況で、どのように効果的にディープネットワークを学習できるか？
• RQ3 マルチスケール特徴抽出とスキップ接続は、オクルージョン除去された光場再構築の品質をどの程度向上させるか？
• RQ4 合成データで学習したネットワークが、複雑で斜めまたは不規則なオクルージョンを持つ実世界のシーンに一般化できるか？
• RQ5 差し引き差異の使用が、光場における前面オクルージョンの正確な検出と除去をどのように可能にするか？

主な発見

• 実世界のBike01シーンにおいて、DeOccNetは平均PSNR 22.45 dB、SSIM 0.727を達成し、従来手法を大きく上回っている。
• アブレーションスタディの結果、残差ASPPモジュールを削除すると、平均PSNRが3 dB以上低下し、SSIMはほぼ0.1低下することが判明し、受容 field の拡大においてそのモジュールが果たす重要な役割が示された。
• 最も外側のスキップ接続は、平均PSNRに3.34 dB、平均SSIMに0.14の寄与を示し、高周波数の詳細を保持する上で極めて重要であることが証明された。
• 同一の中心視点入力であっても、DeOccNetは再構築に失敗するため、単一画像補完メカニズムに依存しているのではなく、多視点の差し引き差異に依存していることが確認された。
• 訓練時に使用したのは前面平行なフェンス型マスクのみであるが、斜めや貫通型オクルージョン（例：Bike01のバスケット）を含むシーンに対しても、良好な一般化性能を示している。
• 固体のブロック型オクルージョン（例：Bike02の右下隅）に対しては性能が著しく低下しており、すべての視点で背景がオクルージョンされている場合に限界があることが示され、併せてパースペクティブと近隣領域の事前知識の統合の必要性が浮き彫りになった。

Figure 2: An overview of our DeOccNet . (a) The overall architecture. (b) The structure of the residual ASPP module.