[論文レビュー] Monocular Depth Estimation with Self-supervised Instance Adaptation

Robert McCraith, Lukáš Neumann+2 more|arXiv (Cornell University)|Apr 13, 2020

Advanced Vision and Imaging参考文献 46被引用数 20

ひとこと要約

本論文は、3Dの真値データを必要とせず、マルチビューの一貫性を用いて推論時にモデル重みをファインチューニングすることで、モノクロナル深度推定を向上させる自己教師付きインスタンス適応手法を提案する。KITTIでは平均で絶対誤差が25%削減され、完全に教師ありの最先端手法に並ぶ性能を達成し、先行する自己教師あり手法を上回る。

ABSTRACT

Recent advances in self-supervised learning havedemonstrated that it is possible to learn accurate monoculardepth reconstruction from raw video data, without using any 3Dground truth for supervision. However, in robotics applications,multiple views of a scene may or may not be available, depend-ing on the actions of the robot, switching between monocularand multi-view reconstruction. To address this mixed setting,we proposed a new approach that extends any off-the-shelfself-supervised monocular depth reconstruction system to usemore than one image at test time. Our method builds on astandard prior learned to perform monocular reconstruction,but uses self-supervision at test time to further improve thereconstruction accuracy when multiple images are available.When used to update the correct components of the model, thisapproach is highly-effective. On the standard KITTI bench-mark, our self-supervised method consistently outperformsall the previous methods with an average 25% reduction inabsolute error for the three common setups (monocular, stereoand monocular+stereo), and comes very close in accuracy whencompared to the fully-supervised state-of-the-art methods.

研究の動機と目的

• モノクロナルとマルチビューのデータが共存するロボット分野における一貫性のない深度推定の課題に対処する。
• 複数のビューからの自己教師信号を活用して、推論中に動的に深度予測を改善する。
• 再トレーニングを必要とせず、既存の自己教師ありモノクロナル深度モデルを向上させる手法を開発する。
• 完全に自己教師ありのまま、完全に教師ありの最先端手法に近い性能を達成する。
• 順次的適応により、長時間の動画シーケンスにおいても安定性と時間的整合性を確保する。

提案手法

• 推論時に標準的な自己教師あり学習損失（例：ワーピングによる画像再構築）を適用し、深度予測を精緻化する。
• マルチフレームの一貫性を用いて、バックプロパゲーションにより事前学習済みモデルの特定のコンponents（例：深度エンコーダー重み）のみを最適化する。
• インスタンス単位の適応を実装：各画像ごとに独立して重みを更新し、初期学習率を高くして50ステップのSGDを実行する。
• 順次的適応を実装：効率性を考慮し、1フレームあたり5ステップでモデル重みを維持・更新する。
• ステレオペアを用いる場合、既知のステレオベースラインを活用してポーズ推定を制約し、適応を深度特徴に集中させる。
• モノクロナルおよびステレオ入力を両方で適用し、推論時にデータタイプをシームレスに統合する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習の原則を、複数のビューを用いた推論時の深度推定向上に拡張可能か？
• RQ2 動画の一貫性を用いたモデル重みの推論時適応は、標準的な自己教師あり手法に比べて顕著な性能向上をもたらすか？
• RQ3 モデルのドリフトを生じさせることなく、長時間の動画シーケンスにおいても精度と安定性を維持できるか？
• RQ4 インスタンス単位の適応と順次的適応は、精度と推論速度の観点でどのように比較できるか？
• RQ5 本手法はモノクロナルとステレオの混合入力に一般化可能であり、完全に教師ありの最先端手法に近い性能を達成できるか？

主な発見

• 提案手法は、KITTIの3つのベンチマーク（モノクロナル、ステレオ、モノクロナル＋ステレオ）において、平均で絶対誤差が25%削減された。
• KITTIオドメトリ9シーケンスでは、ベースラインの絶対相対誤差0.454が、順次的適応で0.291に、インスタンス単位の適応で0.222にまで低下した。
• インスタンス単位の適応戦略は、すべての先行する自己教師あり手法を上回り、完全に教師ありのDORN手法と1.5%以内の差で近い性能を達成した。
• 順次的適応はインスタンス単位の適応と同等の精度を達成しているが、10倍速いため、リアルタイムデプロイメントに適している。
• 長時間のシーケンス（例：4981フレーム）においても安定しており、24,000回を超えるパラメータ更新にもかかわらず、発散は観測されなかった。
• 本手法はモノクロナル、ステレオ、および混合データなど、さまざまな入力タイプに対してロバストであり、再トレーニングなしに適用可能である。