[論文レビュー] Learning Unsupervised Multi-View Stereopsis via Robust Photometric Consistency

Tejas Khot, Shubham Agrawal+4 more|arXiv (Cornell University)|May 7, 2019

Advanced Vision and Imaging参考文献 36被引用数 64

ひとこと要約

本論文は、ground-truth 3D データなしで深度予測を訓練する頑健な photometric consistency loss を用いた unsupervised learning アプローチを multi-view stereo (MVS) に適用し、暗黙の遮蔽処理を備えた競争力のある密な再構成を実現する。

ABSTRACT

We present a learning based approach for multi-view stereopsis (MVS). While current deep MVS methods achieve impressive results, they crucially rely on ground-truth 3D training data, and acquisition of such precise 3D geometry for supervision is a major hurdle. Our framework instead leverages photometric consistency between multiple views as supervisory signal for learning depth prediction in a wide baseline MVS setup. However, naively applying photo consistency constraints is undesirable due to occlusion and lighting changes across views. To overcome this, we propose a robust loss formulation that: a) enforces first order consistency and b) for each point, selectively enforces consistency with some views, thus implicitly handling occlusions. We demonstrate our ability to learn MVS without 3D supervision using a real dataset, and show that each component of our proposed robust loss results in a significant improvement. We qualitatively observe that our reconstructions are often more complete than the acquired ground truth, further showing the merits of this approach. Lastly, our learned model generalizes to novel settings, and our approach allows adaptation of existing CNNs to datasets without ground-truth 3D by unsupervised finetuning. Project webpage: https://tejaskhot.github.io/unsup_mvs

研究の動機と目的

• ground-truth 3D supervision を必要とせずに MVS を学習する動機づけ.
• ビュー間の photometric consistency を深度予測の監 supervision として活用する.
• 遮蔽と照明変化を MVS 設定で耐性のあるロスとして扱う。

提案手法

• 複数のビューが与えられた場合、CNN で各画像の深度マップを予測する。
• 微分可能なワープを用いてビューを合成し、フォトメトリック再投影ロスを計算する。
• 遮蔽を扱うために view ロスの per-pixel top-K 集約を導入する。
• 照明変化を緩和するために一階微分の整合性を組み込む。
• フォトメトリック損失を SSIM およびエッジ対応の深度滑らかさと重み付き目的関数で結合する。
• ADAM を用いたエンドツーエンドの訓練でマルチビュー画像セットを訓練し、推論時には深度マップを3D点群に統合する。

実験結果

リサーチクエスチョン

• RQ1 視点間の Photometric consistency を活用することで、3D ground truth なしに MVS の深度予測を学習できるか。
• RQ2 マルチビューのフォトメトリック損失フレームワークで、遮蔽と照明変化を頑健に扱うにはどうするか。
• RQ3 トップ-K の視点整合性ロスの選択が MVS の深度予測の訓練信号を改善するか。
• RQ4 学習済みモデルは3D supervision なしで未知のデータセット・設定へ一般化するか。
• RQ5 3D アノテーションのないデータセットで unsupervised fine-tuning は性能を向上させるか。

主な発見

• トップ-K のビュー集約を用いた頑健な photometric ロスは naive なフォト整合性より再構成品質を向上させる。
• 頑健なモデルは DTU でいくつかの指標でベースラインや従来法を上回り、監督あり手法に近い性能を示す。
• 頑健なロスで訓練すると、低テクスチャ領域での穴が減り、より完全な再構成が得られる。
• 新しいデータセットで頑健なロスを用いた微調整は、3D アノテーションなしで性能を向上させる。
• Fine-tuning せずに Tanks and Temples へ一般化するモデルを示す。ただし深度レンジの課題により制限がある。