[論文レビュー] Learning to Recover 3D Scene Shape from a Single Image

Wei Yin, Jianming Zhang+5 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Vision and Imaging参考文献 47被引用数 4

ひとこと要約

本論文は、未知のスケールおよびシフトを伴う深度推定を最初に行い、その後3次元点群エンコーダーを用いて欠落している深度シフトおよび焦点距離を予測することで、1枚の屋外画像から正確な3次元シーン形状を回復する2段階フレームワークを提案する。本手法は、新しい画像レベル正規化回帰損失とペアワイズ表面法線回帰損失を用いることで、混合マルチソースデータに対するロバストな訓練が可能となり、9つの未観測データセットにおいて最先端のゼロショット一般化性能を達成する。

ABSTRACT

Despite significant progress in monocular depth estimation in the wild, recent state-of-the-art methods cannot be used to recover accurate 3D scene shape due to an unknown depth shift induced by shift-invariant reconstruction losses used in mixed-data depth prediction training, and possible unknown camera focal length. We investigate this problem in detail, and propose a two-stage framework that first predicts depth up to an unknown scale and shift from a single monocular image, and then use 3D point cloud encoders to predict the missing depth shift and focal length that allow us to recover a realistic 3D scene shape. In addition, we propose an image-level normalized regression loss and a normal-based geometry loss to enhance depth prediction models trained on mixed datasets. We test our depth model on nine unseen datasets and achieve state-of-the-art performance on zero-shot dataset generalization. Code is available at: https://git.io/Depth

研究の動機と目的

• 単眼画像からの3次元シーン形状再構築が、未知の深度シフトおよび焦点距離のため不正確になるという重要な問題に対処すること。
• 既存の単眼深度モデルで見られるシフト不変損失の制限を克服し、メトリックな3次元形状再構築を可能にすること。
• 合成またはスキャンされたデータで訓練された3次元点群エンコーダーを活用することで、未観測データセットへのゼロショット一般化を可能にすること。
• 新しいトレーニング損失を導入することで、混合で多様なデータセットにおける単眼深度推定を改善し、幾何的整合性とロバスト性を向上させること。
• 画像ベースの事前知識と3次元点群ベースの事前知識とのドメインギャップを埋め、より高精度な3次元再構築を実現すること。

提案手法

• 2段階フレームワーク：まず、CNNベースの深度推定モジュールが、1枚の画像から未知のスケールおよびシフトを伴う深度マップを推定する。
• 次に、学習された点群エンコーダーを用いた3次元点群再構築モジュールが、欠落している深度シフトおよび焦点距離の補正要因を予測する。
• 深度推定モデルは、深度を標準化されたスケール・シフト不変空間に変換する新しい画像レベル正規化回帰損失を用いて訓練される。これにより、トレーニングの安定性が向上する。
• 幾何的精度を向上させるためにペアワイズ表面法線回帰損失が導入され、特にエッジや平面領域で効果的であり、データ品質に応じたサンプリング戦略が採用されている。
• 画像ベースの事前知識と比較してドメインギャップを低減するため、合成データおよび3次元スキャンデータを用いて点群エンコーダーを訓練する。
• ネットワークに補助パスを設け、逆深度を出力する。ランク付け損失および正規化回帰損失を適用することで、多様なデータソース間での一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 深度シフトおよび焦点距離が未知である状況下で、完全にデータ駆動型の手法が屋外画像1枚から正確な3次元シーン形状を回復できるか？
• RQ2 混合データセットでのトレーニングにおけるシフト不変損失の問題をどのように緩和できるか？これによりメトリックな3次元再構築が可能になるか？
• RQ3 合成またはスキャンされたデータで訓練された3次元点群エンコーダーは、実世界の屋外シーンに一般化し、形状の最適化に寄与できるか？
• RQ4 画像レベル正規化回帰損失および表面法線に基づく損失が、多様なデータセットにおける深度推定をどの程度向上させるか？
• RQ5 提案されたフレームワークは、多様で未観測のデータセットにおいて最先端のゼロショット一般化性能を達成するか？

主な発見

• 提案手法は、9つの未観測データセットにおけるゼロショット転送において最先端の性能を達成し、トレーニングデータを超えた強力な一般化能力を示した。
• 深度シフトおよび焦点距離の予測に3次元点群エンコーダーを活用することで、標準的な深度推定のみに比べ、3次元形状の現実性と正確性が顕著に向上した。
• 画像レベル正規化回帰損失により、スケールとシフトが未知の複数のデータソース間で、深度分布の標準化が可能となり、混合データセットにおけるトレーニングのロバスト性が向上した。
• ペアワイズ表面法線回帰損失により、特にエッジや平面領域での幾何的忠実度が向上し、再構築された3次元形状のアーチファクトが低減された。
• 定性的な結果により、多様な屋外シーンにおいて、1枚の画像から現実的な3次元シーン形状を効果的に回復できることを検証した。
• 低品質および高品質のデータセットの両方において、深度監視の品質のばらつきに強く、良好な一般化性能を示した。