[論文レビュー] Multimodal Scale Consistency and Awareness for Monocular Self-Supervised Depth Estimation

Hemang Chawla, Arnav Varma+2 more|arXiv (Cornell University)|Mar 3, 2021

Advanced Vision and Imaging参考文献 52被引用数 24

ひとこと要約

本稿では、推論時にGPSを必要とせず、トレーニング中に低周波数の平面的GPSデータを活用することでスケールの一貫性とスケール認識を強制するGPS-to-Scale（g2s）損失を提案する。この手法は、KITTIで最先端の手法を上回り、Make3D や Cityscapes などの分布外データセットに対しても良好な一般化性能を示す。単眼自己教師付き深度推定のスケール不一致問題を改善し、LiDAR やステレオの監督なしにメトリックスケールの深度予測を可能にする。

ABSTRACT

Dense depth estimation is essential to scene-understanding for autonomous driving. However, recent self-supervised approaches on monocular videos suffer from scale-inconsistency across long sequences. Utilizing data from the ubiquitously copresent global positioning systems (GPS), we tackle this challenge by proposing a dynamically-weighted GPS-to-Scale (g2s) loss to complement the appearance-based losses. We emphasize that the GPS is needed only during the multimodal training, and not at inference. The relative distance between frames captured through the GPS provides a scale signal that is independent of the camera setup and scene distribution, resulting in richer learned feature representations. Through extensive evaluation on multiple datasets, we demonstrate scale-consistent and -aware depth estimation during inference, improving the performance even when training with low-frequency GPS data.

研究の動機と目的

• 自動運転応用における主要な制限要因である単眼自己教師付き深度推定におけるスケール不一致を解消すること。
• 単眼ビジョンに内在するスケールのあいまいさ問題を、GPSデータからのマルチモーダルな学習信号を導入することで克服すること。
• 推論時にLiDAR やステレオの監督を必要とせず、メトリックスケールの深度予測を可能にすること。
• 低周波数および2次元GPS（高度情報なし）に対しても頑健であることを示し、実用的導入性を高めること。
• シーンやカメラに依存しない深度表現を学習することで、分布外データセットへの一般化性能を向上させること。

提案手法

• 自己運動ネットワークから予測された相対的移動量とGPSで測定された相対的移動量を比較する動的重み付きGPS-to-Scale（g2s）損失を提案する。
• 透視投影モデルを用いて深度と自己運動予測を結びつけ、幾何学的一致性を確保する。
• g2s損失はトレーニング時のみに適用し、GPSデータはスケール信号としてのみ使用し、スケールの一貫性と認識を強制する。
• g2s損失にトレーニングエポックに伴い指数関数的に増加する重みスケジュールを導入し、収束性と性能を向上させる。
• 視覚的外観に基づく写真的損失、滑らかさ損失、自己マスク損失と組み合わせ、自己教師付きフレームワーク内でg2s損失を統合する。
• 視覚的外観とGPS由来のスケール信号の両方を統合したマルチモーダル損失を用いて、深度と自己運動ネットワークをエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 GPS由来の相対的移動量は、単眼自己教師付き深度推定における信頼できるスケール信号として有効か？
• RQ2 GPSの周波数と高度情報の欠如が、g2s損失の性能に与える影響は何か？
• RQ3 g2s損失は多様なシーンやデータセットにおいて、どの程度スケールの一貫性と認識を向上させるか？
• RQ4 微調整なしに、Make3D や Cityscapes などの分布外データセットに対しても本手法は一般化可能か？
• RQ5 視覚外観のみを用いたベースラインと比較して、マルチモーダル自己教師付きフレームワークはより豊かで、より転移可能な特徴表現を生成するか？

主な発見

• 提案されたg2s損失はスケールの一貫性を顕著に向上させ、Make3Dではスケール要因の標準偏差を17.24（ベースライン）から0.85に、Cityscapesでは22.44から1.22にまで低減した。
• Make3Dでは平均スケール要因が2.81、Cityscapesでは4.01であり、1に近い値を示しており、スケール認識が顕著に向上している。競合手法と比較して著しく1に近い。
• 低周波数GPS（最低1 Hz）および高度情報なしでも、KITTI Eigenスプリットで最先端の性能を達成し、Abs Rel誤差は0.112、δ < 1.253の精度は0.981を達成した。
• M+Gトレーニング設定下で、KITTI深度ベンチマークにおいてMonodepth2や他の最先端手法を上回り、14.16のSILog誤差と3.65のSqRel誤差を達成した。
• 定量的結果では、Make3DおよびCityscapesの両方で建物の構造、木の幹、車両の詳細など、より明確なオブジェクトの輪郭が得られており、特徴学習の向上を確認した。
• アブレーションスタディの結果、指数関数的重み付け（式5）が最良の性能を示し、Abs Rel誤差0.112、δ < 1.253精度0.981を達成し、定数および線形重み付け戦略を上回った。