[論文レビュー] RealMonoDepth: Self-Supervised Monocular Depth Estimation for General Scenes

Mertalp Ocal, Armin Mustafa|arXiv (Cornell University)|Apr 14, 2020

Advanced Vision and Imaging参考文献 63被引用数 11

ひとこと要約

RealMonoDepthは、相対的深度スケーリングおよびワーピングに基づく新しい損失関数を導入することで、さまざまな屋内・屋外シーン（1〜100メートル以上）の多様な深度範囲に一般化可能な自己教師付き単眼深度推定手法を提案する。このアプローチにより、固定基準点を持たないステレオデータセットおよび動くカメラのデータセットを併用して学習が可能となり、5つのベンチマークデータセットで最先端の性能を達成し、未学習の深度範囲にも一般化可能である。

ABSTRACT

We present a generalised self-supervised learning approach for monocular estimation of the real depth across scenes with diverse depth ranges from 1--100s of meters. Existing supervised methods for monocular depth estimation require accurate depth measurements for training. This limitation has led to the introduction of self-supervised methods that are trained on stereo image pairs with a fixed camera baseline to estimate disparity which is transformed to depth given known calibration. Self-supervised approaches have demonstrated impressive results but do not generalise to scenes with different depth ranges or camera baselines. In this paper, we introduce RealMonoDepth a self-supervised monocular depth estimation approach which learns to estimate the real scene depth for a diverse range of indoor and outdoor scenes. A novel loss function with respect to the true scene depth based on relative depth scaling and warping is proposed. This allows self-supervised training of a single network with multiple data sets for scenes with diverse depth ranges from both stereo pair and in the wild moving camera data sets. A comprehensive performance evaluation across five benchmark data sets demonstrates that RealMonoDepth provides a single trained network which generalises depth estimation across indoor and outdoor scenes, consistently outperforming previous self-supervised approaches.

研究の動機と目的

• 既存の自己教師付き単眼深度推定手法が固定された深度範囲およびカメラ基準点に制限されているという問題を解決すること。
• 屋内・屋外シーンの間で著しく異なる深度スケール（1〜100メートル以上）にわたって深度推定の一般化を可能にすること。
• 真の深度を必要とせず、ステレオペアと現実世界の動くカメラシーケンスを組み合わせた自己教師付き学習フレームワークを構築すること。
• 固定されたカメラ基準点に依存せず、正確なメトリック深度予測を維持すること。

提案手法

• 相対的深度の監視とスケーリング・ワーピング操作による実深度推定を組み合わせた、新しい損失関数を導入する。
• シーン固有の中央値深度を用いて相対的深度マップから実深度を推定するスケール変換モジュールを採用する。
• 画像再構成を監視信号として用いる：予測された深度を用いてソースビューをターゲットビューに再構成する。
• 真の深度が存在しない状態で、ステレオデータセット（例：KITTI）と現実世界の動くカメラデータセット（例：Mannequin Challenge）の組み合わせを用いて、1つのディープニューラルネットワークを学習する。
• トレーニング中にソースビューとターゲットビューの幾何学的整合性を保つために、ワーピングと光度的一致性損失を適用する。
• 正規化された深度を予測する相対的深度ネットワークを用い、その後、シーン固有の中央値深度推定値を用いて実深度にスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 固定されたカメラ基準点が不要な状態で、屋内と屋外の間で著しく異なる深度範囲を持つシーンに、自己教師付き単眼深度推定が一般化可能か？
• RQ2 未キャリブレーションで現実世界の動くカメラシーケンスとステレオペアからなる1つのネットワークが、実メトリック深度を推定できるか？
• RQ3 どのような損失関数設計が、多様なシーンにわたる実深度スケールを保持しながら、効果的な自己教師付き学習を可能にするか？
• RQ4 ステレオデータと動くカメラデータを組み合わせることで、未学習の深度範囲における一般化性能がどの程度向上するか？

主な発見

• RealMonoDepthは、KITTI、NYU、TUM、Make3D、Mannequin Challengeを含む5つのベンチマークデータセットで最先端の性能を達成し、従来の自己教師付き手法よりも一貫した改善を示した。
• MC+KITTIのデータを併用して学習したモデルは、個別のデータセットで学習したモデルよりも優れた一般化性能を示し、深度範囲にわたる汎用性が向上した。
• KITTIテストセットでは、絶対相対誤差（Abs Rel）が0.388、平均二乗誤差（RMS）が1.533を達成し、Monodepth2（Abs Rel: 0.427、RMS: 1.616）を上回る性能を示した。
• アブレーションスタディの結果、提案されたスケール変換（ST）が、NYU や TUM のような変動する深度範囲を持つデータセットで顕著な性能向上をもたらす一方、KITTI でも性能を維持していることが確認された。
• 真の深度が存在しない静的シーンに限定して学習したモデルでも、テスト時に動的シーンに一般化可能であることが示された。
• 定性的な結果から、長距離の屋外シーン（最大約500m）および近距離の屋内環境（約10m）にわたり、正確な深度推定が可能であることが確認された。