[論文レビュー] Self-Supervised 3D Keypoint Learning for Ego-motion Estimation

Jiexiong Tang, Rareş Ambruş+5 more|arXiv (Cornell University)|Dec 7, 2019

Robotics and Sensor-Based Localization参考文献 67被引用数 9

ひとこと要約

本論文は、ラベルなし単眼動画から直接自己教師付きフレームワークを用いて深度に敏感な3次元キーポイントを学習する手法を提案する。本手法は、プロクラステアン残差ポーズ補正を用いた微分可能構造から姿勢（SfM）モジュールを介して、キーポイント検出、記述子学習、3次元リフトを同時に最適化する。この手法は、KITTIベンチマークでステレオベース手法を上回る最先端の単眼ビジョウオドメトリ性能を達成し、最小限のスケールドリフトを示す。

ABSTRACT

Detecting and matching robust viewpoint-invariant keypoints is critical for visual SLAM and Structure-from-Motion. State-of-the-art learning-based methods generate training samples via homography adaptation to create 2D synthetic views with known keypoint matches from a single image. This approach, however, does not generalize to non-planar 3D scenes with illumination variations commonly seen in real-world videos. In this work, we propose self-supervised learning of depth-aware keypoints directly from unlabeled videos. We jointly learn keypoint and depth estimation networks by combining appearance and geometric matching via a differentiable structure-from-motion module based on Procrustean residual pose correction. We describe how our self-supervised keypoints can be integrated into state-of-the-art visual odometry frameworks for robust and accurate ego-motion estimation of autonomous vehicles in real-world conditions.

研究の動機と目的

• 高価な真値アノテーションに依存せずに、視点不変なロバストな3次元キーポイントを単眼ビジョウオドメトリ用に学習する課題に対処すること。
• 平面ホモロジー仮定に依存する既存の自己教師付きキーポイント学習手法の限界を克服し、照明変化を伴う非平面的3次元シーンでも失敗しないこと。
• 単眼動画シーケンスにおける時間的・幾何的整合性を活用し、キーポイント検出、記述子学習、3次元リフトをエンドツーエンドで自己教師付きに同時に最適化すること。
• 最新のビジョウオドメトリパイプライン（例：DSO）に学習済み3次元キーポイントを統合し、正確でスケール認識可能な長距離エゴモーション推定を可能にすること。
• KITTIオドメトリシーケンスおよびHPatchesデータセットを用いた広範な評価を通じて、実世界の自動走行車シナリオへの一般化を実証すること。

提案手法

• 合成ホモロジーに依存しない多視点幾何的整合性を用いて、時間的動画シーケンスから自己教師付きの監視信号を生成する。
• プロクラステアン残差ポーズ補正に基づく微分可能なSfMモジュールを用い、SE3カメラポーズを回帰するようにキーポイント検出ネットワークと深度推定ネットワークを同時に学習する。
• 予測された3次元キーポイントを2次元投影に一致させる微分可能なポーズ最適化ステップを用いて、複数視点間の再投影誤差を最小化することで幾何的整合性を強制する。
• 外観マッチング（記述子類似度を介して）と幾何的制約（3次元-2次元再投影誤差を介して）を組み合わせた微分可能な損失関数を用い、エンドツーエンドのシステムを訓練する。
• 学習済み3次元キーポイント検出器と記述子を直接スパースオドメトリ（DSO）フレームワークに統合し、強力な単眼エゴモーション推定を実現する。
• KITTIベンチマークでの公平な比較のため、評価時に真値と一致させるために1回のSim(3)アライメントステップを適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし単眼動画からの自己教師付き3次元キーポイント学習は、照明変化や視点変化が生じる実世界条件下でも、ロバストで再現性の高いキーポイント検出とマッチングを達成できるか？
• RQ2 キーポイント検出、記述子学習、深度推定の共同最適化は、分離的または教師ありアプローチと比較して、単眼ビジョウオドメトリ性能を向上させるか？
• RQ3 プロクラステアン残差ポーズ補正に基づく微分可能なSfMモジュールは、幾何的整合性を効果的に強制し、ポーズ推定の正確性を向上させることができるか？
• RQ4 提案手法の自己教師付き3次元キーポイントシステムは、長距離単眼ビジョウオドメトリにおいて、ステレオベースの最先端手法と比較してどの程度優れているか？
• RQ5 学習済み3次元キーポイントは、KITTIオドメトリベンチマークを用いた評価を通じて、実世界の自動走行車シナリオにどの程度一般化できるか？

主な発見

• 提案手法は、KITTIオドメトリシーケンス09および10において、平均並進RMSEが4.30%を達成し、単眼監視下でSfMLearner（16.6%）およびZhanら（12.3%）を上回る。
• 同じシーケンスで回転RMSEは0.90°/100mを達成し、SfMLearner（3.26°/100m）およびZhanら（3.52°/100m）と比較して顕著に低い。
• DSOに統合された場合、KITTIシーケンスで平均並進RMSEが0.26%にまで低下し、長距離トラッキングにおける最小限のスケールドリフトと高い精度を示す。
• HPatchesデータセットでは、高い再現性と局所化誤差を達成し、ホモロジー精度とマッチングスコアの指標が最先端の学習ベースキーポイント検出器と同等水準に達している。
• 定性的な結果から、本手法は挑戦的なシーケンス（例：KITTI 03, 04, 05, 07）においても安定した3次元キーポイントを正確に追跡できており、推定トラジェクトリは真値に密接に従い、最小限のドリフトを示している。
• アブレーションスタディの結果、幾何的監視によるキーポイントと深度ネットワークの共同最適化は、分離的または幾何的正則化なしの訓練に比べて顕著な性能向上をもたらすことが確認された。