[論文レビュー] Two Stream Networks for Self-Supervised Ego-Motion Estimation

Rareş Ambruş, Vitor Guizilini+3 more|arXiv (Cornell University)|Oct 4, 2019

Advanced Vision and Imaging参考文献 52被引用数 11

ひとこと要約

本論文は、自己教師あり学習を用いてラベルなしRGB動画から単眼深度と自己移動量を共同で学ぶ2ストリームニューラルネットワークを提案する。外見特徴と推定された深度特徴を統合することで精度が向上する。KITTIベンチマークで最先端の性能を達成するため、過学習を低減するスパarsity誘導型データ拡張ポリシーを導入し、100万フレームの都市ドライブデータセットでも性能が段階的に向上する。

ABSTRACT

Learning depth and camera ego-motion from raw unlabeled RGB video streams is seeing exciting progress through self-supervision from strong geometric cues. To leverage not only appearance but also scene geometry, we propose a novel self-supervised two-stream network using RGB and inferred depth information for accurate visual odometry. In addition, we introduce a sparsity-inducing data augmentation policy for ego-motion learning that effectively regularizes the pose network to enable stronger generalization performance. As a result, we show that our proposed two-stream pose network achieves state-of-the-art results among learning-based methods on the KITTI odometry benchmark, and is especially suited for self-supervision at scale. Our experiments on a large-scale urban driving dataset of 1 million frames indicate that the performance of our proposed architecture does indeed scale progressively with more data.

研究の動機と目的

• 従来の自己教師あり自己移動量推定手法が密集した外見変化に依存するという限界を是正し、疎な幾何構造を無視することを防ぐ。
• ポーズネットワークの正則化を目的とした、新たなデータ拡張ポリシーを導入することで、自己教師あり自己移動量学習における一般化性能を向上させる。
• 自己教師あり単眼自己移動量推定における性能が、損失関数設計よりもモデルアーキテクチャに大きく依存することを示す。
• 大規模なラベルなしデータセットにおける自己教師あり事前学習のスケーラビリティを調査し、KITTIのような標準ベンチマークでの下流性能向上を検証する。
• 100万フレームの都市ドライブデータセットでの事前学習による性能向上を定量的に評価し、データ量の増加に伴い性能が段階的に向上することを示す。

提案手法

• RGB画像と推定された単眼深度予測を並列に処理する2ストリームニューラルネットワークアーキテクチャを設計し、両モodalの特徴を統合することで自己移動量推定精度を向上させる。
• 深度とポーズネットワークに共通のエンコーダーベースを用い、深度と自己移動量予測のための別々のヘッドを設けることで、特徴共有と共同最適化を実現する。
• 訓練中に入力画像のパッチをランダムにマスキングするスパarsity誘導型データ拡張ポリシーを導入し、ポーズネットワークが頑健な疎な表現を学習できるようにする。
• 異なる解像度の画像を用いた幾何的再構成に基づき、可微分画像ワープを用いた光度的一致性損失を導入し、深度と自己移動量予測を同時に監視する。
• スケールごとの深度推定を多スケールで行い、スキップ接続を用いて細部を保持する多スケール監視戦略を実装する。
• 再構成品質の向上と歪みの低減を目的に、構造的類似性（SSIM）とL1損失を光度損失に組み込む。

実験結果

リサーチクエスチョン

• RQ1 2ストリームアーキテクチャでRGBと推定深度特徴を統合することで、外見特徴のみのモデルに比べて自己教師あり自己移動量推定性能が顕著に向上するか？
• RQ2 スパarsity誘導型データ拡張ポリシーは、自己教師あり自己移動量学習におけるポーズネットワークの正則化と過学習の低減に効果を発揮するか？
• RQ3 自己教師あり自己移動量モデルの性能は、ラベルなしデータ量の増加に伴いどのように変化するか？
• RQ4 大規模かつ多様な都市ドライブデータセットでの事前学習が、KITTIのような標準ベンチマークでの性能向上にどの程度寄与するか？
• RQ5 自己教師あり学習における深度と自己移動量予測の相関関係は、損失関数の変更ではなく、アーキテクチャ設計によって最適に扱えるか？

主な発見

• 提案された2ストリームネットワークは、KITTIオドメトリーベンチマークで学習ベース手法において最先端の性能を達成し、事前学習にKITTIとCityscapesデータセットを用いた場合、相対的移動誤差（t_rel）が0.91、回転誤差（r_rel）が1.22となる。
• データ量の増加に伴い性能向上の明確なトレンドが観察され、100万フレームの都市ドライブデータセットで事前学習した場合、KITTIでの相対的移動誤差は1.45%にまで低下する。
• スパarsity誘導型拡張ポリシーは過学習を低減し、一般化性能を向上させ、標準的な拡張戦略に比べてポーズ推定精度が20〜30%相対的に向上する。
• 大規模データセットでの事前学習によりKITTIベンチマークでの性能が顕著に向上する。D1Mデータセットで事前学習した場合、KITTIテストセットでの相対的移動誤差は3.88%に低下するが、KITTIでのみ学習した場合の4.74%に比べて顕著に改善される。
• 2ストリームアーキテクチャは、外見的および幾何的手がかりを両方活用することで、単一ストリームベースラインを上回り、標準的な単一ストリームモデルに比べて回転誤差が40%低減される。
• アブレーションスタディにより、アーキテクチャ設計が損失関数設計よりも性能に与える影響が大きいことが確認され、自己教師ありSfMにおけるマルチストリーム特徴統合の重要性が裏付けられる。