[論文レビュー] A Learning-based Framework for Hybrid Depth-from-Defocus and Stereo Matching

Zhang Chen, Xinqing Guo+3 more|arXiv (Cornell University)|Aug 2, 2017

Image Processing Techniques and Applications参考文献 35被引用数 11

ひとこと要約

本稿では、画像トリプレット（ステレオペアと1枚のぼやけた画像）を用いて、深度からのぼやけ（DfD）とステレオマッチングを統合する学習ベースのハイブリッドフレームワークを提案する。DfDとステレオのそれぞれの深度推定にアワークラスネットワークを用い、複数の接続戦略による統合を実施することで、実データおよび合成データにおいて優れた精度と耐障害性を達成した。特に、模様のない領域や深度の不連続領域の処理において顕著な性能向上を示した。

ABSTRACT

Depth from defocus (DfD) and stereo matching are two most studied passive depth sensing schemes. The techniques are essentially complementary: DfD can robustly handle repetitive textures that are problematic for stereo matching whereas stereo matching is insensitive to defocus blurs and can handle large depth range. In this paper, we present a unified learning-based technique to conduct hybrid DfD and stereo matching. Our input is image triplets: a stereo pair and a defocused image of one of the stereo views. We first apply depth-guided light field rendering to construct a comprehensive training dataset for such hybrid sensing setups. Next, we adopt the hourglass network architecture to separately conduct depth inference from DfD and stereo. Finally, we exploit different connection methods between the two separate networks for integrating them into a unified solution to produce high fidelity 3D disparity maps. Comprehensive experiments on real and synthetic data show that our new learning-based hybrid 3D sensing technique can significantly improve accuracy and robustness in 3D reconstruction.

研究の動機と目的

• 単独の深度からのぼやけ（DfD）とステレオマッチングの限界を克服し、それぞれの相補的な強みを統合すること。
• DfDデータセットの不足を補うために、ハイブリッドDfD-ステレオ設定を想定した包括的な合成学習データセットを生成すること。
• 共通のアーキテクチャを用いて、DfDとステレオの両方の手がかりから同時に深度を推定する統一されたディープラーニングフレームワークを開発すること。
• DfDとステレオの分離されたネットワークからの予測を、複数の接続メカニズムを用いて統合することで、3次元再構成の忠実度を向上させること。
• 実データおよび合成データの両方で手法を検証し、繰り返し模様や深度の不連続性といった困難な状況下での耐障害性を示すこと。

提案手法

• FlyingThings3Dを用いて、オクルージョンを考慮したライトフィールドレンダリングにより、ステレオペアからぼやけた画像を生成することで、合成学習データセットを構築する。
• Lytro Illumライトフィールドカメラを用いて、実世界の評価のための実画像トリプレット（ステレオペアとぼやけた画像）を取得する。
• ステレオマッチング用と深度からのぼやけ用の2つの別々のアワークラスネットワークを実装する。
• スタックドアワークラスアーキテクチャを用いて、マルチスケールのボトムアップおよびトップダウン特徴学習により、深度予測を精緻化する。
• DfDとステレオブランチ間の統合に、連結、スキップ接続、ゲート付き統合といった複数の統合戦略を検討する。
• 真値の視差マップを用いて、ポissonノイズを含むデータ拡張を施したエンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、DfDとステレオマッチングを効果的に統合し、3次元再構成の精度を向上させることができるか？
• RQ2 DfDとステレオネットワーク間の異なる統合アーキテクチャは、最終的な視差マップの品質にどのように影響するか？
• RQ3 模様のない領域や深度の不連続性といった困難な状況下で、提案手法は単独のステレオまたはDfD手法をどの程度上回るか？
• RQ4 シミュレートされたぼやけのぼやけを含む合成データセットは、実世界データへの一般化をどの程度有効に可能にするか？
• RQ5 ステレオマッチングが繰り返し模様のため失敗する領域において、ぼやけのぼやけ情報の組み込みが、ステレオマッチング性能を顕著に向上させるか？

主な発見

• 提案されたハイブリッドフレームワークは、単独のステレオまたはDfD手法と比較して、特に模様のない領域や繰り返し模様のある領域で、顕著に高い精度と耐障害性を達成した。
• DfDブランチとステレオブランチ間でゲート付き統合を採用したHG-Fusion-Netが、最も優れた結果を示し、明確な深度境界と滑らかな深度マップを生成した。個別のネットワークを上回る性能を発揮した。
• 実世界の実験では、ステレオ単独の手法が過剰に平滑化または誤って予測する可能性のある、葉や細い部分のような微細構造を効果的に回復できた。
• トレーニング時にポissonノイズを含めることは極めて重要であった。クリーンなデータでトレーニングしたモデルは、実データで深刻なノイズパターンを示した。これは、現実のセンサ特性を再現するシミュレーションの重要性を裏付けた。
• 重いオクルージョンや低模様領域を含む困難なシーンにおいて、[43]と比較して優れた性能を発揮した。実データ上での評価でその有効性が確認された。
• ライトフィールドレンダリングを用いた合成データセットは、実世界のセンサデータへの有効な訓練と一般化を可能にした。これにより、パイプラインの実現可能性とスケーラビリティが裏付けられた。