[論文レビュー] Geo-Supervised Visual Depth Prediction

Xiaohan Fei, Alex Wong+1 more|arXiv (Cornell University)|Jul 30, 2018

Advanced Vision and Imaging参考文献 45被引用数 4

ひとこと要約

本稿では、重力の方向を監視信号として活用することで、地図位置情報を持つオブジェクト（例：道路、建物）の表面法線が重力と一致するか直交するように制約を課すことにより、単眼深度推定の性能を向上させる地図位置付き監視付き視覚的深度予測を提案する。この方法により、学習可能なクラス特異的正則化項を用いて深度予測を向上させ、テスト時にセマンティックセグメンテーションを必要としない状態でKITTIおよびVISMAベンチマークで最先端の性能を達成する。

ABSTRACT

We propose using global orientation from inertial measurements, and the bias it induces on the shape of objects populating the scene, to inform visual 3D reconstruction. We test the effect of using the resulting prior in depth prediction from a single image, where the normal vectors to surfaces of objects of certain classes tend to align with gravity or be orthogonal to it. Adding such a prior to baseline methods for monocular depth prediction yields improvements beyond the state-of-the-art and illustrates the power of gravity as a supervisory signal.

研究の動機と目的

• インertial測定からのグローバルな方向性を監視信号として活用し、単眼深度推定を向上させること。
• 重力に基づく事前知識を、地図位置情報を持つオブジェクトクラス（例：道路、建物）に限定的に適用することで、深度推定の精度を向上させること。
• 重力がグローバルに一貫した基準として機能することを示し、自己教師付き深度学習における強力な正則化因子としての有効性を示すこと。
• 異なる運動条件下でのKITTIおよび屋内VISMAデータセットを含む多様なベンチマークで、本手法の有効性を検証すること。
• 視覚慣性オドメトリ（VIO）システムと統合することで、モバイルおよびハンドヘルドデバイスへの実装を可能にすること。

提案手法

• 本手法は、1枚の画像とカメラ座標系における重力の推定値を入力として、深層ニューラルネットワークをエンドツーエンドで訓練し、視差を予測する。
• トレーニング時にセマンティックセグメンテーションマスクを用いて地図位置情報を持つオブジェクト（例：道路、建物）と特定された領域に、クラス特異的正則化項を適用する。
• 正則化項は、これらのオブジェクトの表面法線が重力と一致するか直交するように制約を課し、微分可能な損失関数としてモデル化する。
• ステレオ学習では、キャリブレーション済みステレオペアを用い、地図位置情報を持つクラスにのみ微分可能な損失関数を適用する。
• 単眼動画学習では、再投影誤差を最小化すると同時に、重力に起因する法線正則化項を組み込む。
• 既存の最先端モデル（例：GeoNet、OursVIO）に本手法を統合し、リアルタイムかつハンドヘルドデバイスでの実行を可能にするためにVIOを拡張する。

実験結果

リサーチクエスチョン

• RQ1 明示的な3次元監視が存在しない状況下でも、重力が単眼深度推定の有効な監視信号として機能するか？
• RQ2 重力と一致する法線の整合性を強制することで、標準ベンチマークにおける深度推定精度がどの程度向上するか？
• RQ3 複雑な運動と限られたパララックスを伴う困難な屋内環境にも本手法は一般化可能か？
• RQ4 視覚慣性オドメトリ（VIO）と組み合わせた場合、重力に基づく正則化が性能向上に寄与するか？
• RQ5 トレーニング時にセマンティックセグメンテーションを使用しているにもかかわらず、推論時にはそれを必要としないか？

主な発見

• KITTIベンチマークにおいて、提案手法は最先端手法を上回り、単眼深度推定で相対誤差（AbsRel）が0.356、平均二乗誤差（RMSE）が4.517を達成した。
• 屋内VISMAデータセットに適用したOursVIO++モデルは、AbsRelが0.105、RMSEが0.421を達成し、ベースラインのGeoNet（AbsRel: 0.157、RMSE: 0.518）を顕著に上回った。
• KITTIおよびVISMAの両ベンチマークにおいて、δ<1.25、δ<1.25²、δ<1.25³の精度を含むすべての指標で一貫した改善が見られた。
• 定性的な結果から、重力事前知識が、特に極端な視点下でも、平面な表面（例：椅子の背もたれ、壁）における穴の発生を効果的に低減し、深度推定を向上させていることが示された。
• アブレーションスタディの結果、VIOに基づくポーズ推定と組み合わせた場合でも、重力に基づく正則化項が性能向上に顕著に寄与することが確認された。
• K不特定のドメインに適用した場合でも、微調整なしにKITTIで学習したモデルをMake3Dデータセットに直接適用した結果、良好な一般化性能が示された。