[論文レビュー] Learning Multi-modal Information for Robust Light Field Depth Estimation

Yongri Piao, Xinxin Ji+2 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Vision and Imaging参考文献 44被引用数 5

ひとこと要約

本稿では、焦点積み上げ画像とRGB画像を統合的に活用することで、耐障害性の高い光場深度推定を実現するマルチモーダル学習フレームワークを提案する。長距離空間的依存関係を捉えるためのコンテキスト推論ユニットと、補完的特徴を効果的に統合するアテンション誘導型クロスモーダル統合モジュールを導入し、2つの光場データセットで最先端の性能を達成するとともに、スマートフォンで撮影された光場データに対しても良好な一般化性能を示した。

ABSTRACT

Light field data has been demonstrated to facilitate the depth estimation task. Most learning-based methods estimate the depth infor-mation from EPI or sub-aperture images, while less methods pay attention to the focal stack. Existing learning-based depth estimation methods from the focal stack lead to suboptimal performance because of the defocus blur. In this paper, we propose a multi-modal learning method for robust light field depth estimation. We first excavate the internal spatial correlation by designing a context reasoning unit which separately extracts comprehensive contextual information from the focal stack and RGB images. Then we integrate the contextual information by exploiting a attention-guide cross-modal fusion module. Extensive experiments demonstrate that our method achieves superior performance than existing representative methods on two light field datasets. Moreover, visual results on a mobile phone dataset show that our method can be widely used in daily life.

研究の動機と目的

• 焦点積み上げ画像に依存する従来の学習ベースの手法が、ぼやけた焦点のずれや不完全な深度情報に起因する限界を解消する。
• RGB画像からの高レベルの構造的情報を焦点に敏感な焦点積み上げデータと統合することで、深度推定の耐障害性を向上させる。
• 特に細い物体や類似したテクスチャを持つ物体を含むシーンにおいて、局所的な深度の曖昧さを解消するためのコンテキスト推論を強化する。
• 異なるモダリティからの特徴を動的に統合できるクロスモーダル統合機構を設計し、焦点ずれに起因する詳細の損失を補償する。
• 実世界の低品質なスマートフォンカメラで撮影された光場データに対して、本手法の一般化能力を実証し、研究室外の実用的応用可能性を示す。

提案手法

• グラフ畳み込みに基づくコンテキスト推論ユニット（CRU）を設計し、焦点積み上げ画像およびRGB画像からそれぞれ包括的なコンテキスト特徴を抽出し、長距離空間的依存関係をモデル化する。
• クロスリーダンス接続を用いて特徴を強化し、動的アテンション重みを学習することで、マルチモーダル表現の効果的統合を実現するアテンション誘導型クロスモーダル統合モジュール（CMFA）を導入する。
• 端末から端末への学習により、コンテキスト特徴抽出とクロスモーダル統合の両方を同時に最適化する。
• 焦点ずれの手がかりを捉えるために、焦点積み上げスライスを入力とし、RGB画像からグローバルな構造的およびテクスチャ情報を利用する。
• スキップ接続とリーダンス学習を適用し、トレーニングの安定化と特徴統合時の微細なディテールの保持を図る。
• 多スケールの監視を用いて一般化性能を向上させるために、標準的な深度回帰損失（例：RMSE、相対誤差）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 焦点積み上げ画像とRGB画像を組み合わせることで、単一の焦点積み上げ画像に依存する手法と比較して、深度推定の耐障害性が向上するか？
• RQ2 コンテキスト推論ユニットは、局所的な深度の曖昧さを解消するために、長距離空間的依存関係をどれほど効果的にモデル化できるか？
• RQ3 アテンション誘導型統合機構は、従来の統合戦略と比較して、RGBと焦点積み上げ特徴間の補完的情報をどれほど効果的に活用できるか？
• RQ4 本手法は、スマートフォンカメラで撮影された実世界の低品質な光場データに対しても、良好に一般化するか？
• RQ5 マルチモーダル学習は、複雑なシーンにおいてノイズをどれほど低減し、微細なディテールをどれほど保持できるか？

主な発見

• 提案手法は、DUT-LFDDおよびLFSDの両光場データセットで最先端の性能を達成し、すべての評価指標で既存のSOTA手法を上回った。
• DUT-LFDDデータセットでは、RMSEが0.3029、RELが0.1455、δ1が0.7859を達成し、DDFF（RMSE: 0.5282）およびEPINet（RMSE: 0.4974）を顕著に上回った。
• LFSDデータセットでは、RMSEが0.3167、RELが0.1426、δ1が0.7814を達成し、非ディープラーニングベースラインおよびVDFF*やPADMM*といったディープラーニング手法を上回った。
• 視覚的結果から、透明な物体や類似したテクスチャを持つ物体を含む挑戦的なシーンにおいても、微細なディテールと深度変化を効果的に捉え、ノイズとぼやけを低減していることが示された。
• 本手法はスマートフォンで撮影された光場データに対しても良好に一般化され、DDFFよりも詳細な深度マップを生成しており、日常的利用における実用的応用可能性を示した。
• アブレーションスタディにより、コンテキスト推論ユニットとアテンション誘導型統合モジュールの両方が性能向上に顕著な寄与をしていることが確認され、部品を段階的に追加するごとに継続的な改善が得られた。