[論文レビュー] Semantic Nearest Neighbor Fields Monocular Edge Visual-Odometry

Xiaolong Wu, Assia Benbihi+2 more|arXiv (Cornell University)|Apr 1, 2019

Robotics and Sensor-Based Localization参考文献 34被引用数 6

ひとこと要約

本稿では、屋外環境におけるロバストで高精度なカメラモーション推定を実現するため、深層学習によるセマンティックエッジと、新規のセマンティックニアレストネイバー・フィールド（SNNF）を活用した単眼ビジョウ・オドメトリ（VO）システムを提案する。ICPに基づくエッジ登録フレームワークにセマンティックに注意を払ったデータアソシエーションを統合することで、収束半径とトラッキングのロバスト性が顕著に向上し、KITTIベンチマークにおいて、都市部および高速道路シーンを含め、最先端の直接的・間接的・セマンティックVOシステムを上回る性能を発揮する。

ABSTRACT

Recent advances in deep learning for edge detection and segmentation opens up a new path for semantic-edge-based ego-motion estimation. In this work, we propose a robust monocular visual odometry (VO) framework using category-aware semantic edges. It can reconstruct large-scale semantic maps in challenging outdoor environments. The core of our approach is a semantic nearest neighbor field that facilitates a robust data association of edges across frames using semantics. This significantly enlarges the convergence radius during tracking phases. The proposed edge registration method can be easily integrated into direct VO frameworks to estimate photometrically, geometrically, and semantically consistent camera motions. Different types of edges are evaluated and extensive experiments demonstrate that our proposed system outperforms state-of-art indirect, direct, and semantic monocular VO systems.

研究の動機と目的

• 屋外の単眼ビジョウ・オドメトリにおける収束半径の制限とエッジの再現性の低さを解決すること。
• セマンティック情報を活用することで、エッジベースのVOにおけるデータアソシエーションを改善し、よりロバストなトラッキングを実現すること。
• 現実の屋外環境における自己移動推定に、さまざまなエッジ検出手法（特に深層ネットワークからの学習済みエッジと従来のCannyエッジ）の影響を評価すること。
• 大規模で、光度的・幾何学的・セマンティック的に一貫性のある3次元セマンティックエッジマップを再構築できるシステムを開発すること。
• 都市部および高速道路シーンなど、挑戦的な屋外環境において、最先端の単眼VOシステムを上回る優れた性能を示すこと。

提案手法

• 本システムは、単眼画像からカテゴリに依存するセマンティックエッジを生成するための深層ニューラルネットワーク（CaseNet）を用い、屋外条件下でのエッジ再現性を向上させる。
• セマンティックラベルを用いて最近接ピクセル同士のマッチングをガイドすることで、フレーム間のエッジ間のロバストなデータアソシエーションを可能にする、新規のセマンティックニアレストネイバー・フィールド（SNNF）を導入する。
• SNNFフレームワークは、直接的なICPベースのエッジ登録法と統合され、モーション推定において光度的・幾何学的・セマンティック的整合性を実現する。
• 不確実なピクセル（ラベルなしピクセル）を最適化に含めるための柔軟なサンプリング戦略を採用し、エッジが乏しく、植生が支配的な領域におけるモーション推定の安定性を高める。
• 直接的VOフレームワークに統合することで、光度誤差を最小限に抑えつつ、統一されたエネルギー関数を介して幾何学的およびセマンティック制約を強制する。
• KITTIシーケンスを用いて評価を行い、トラジェクトリの精度と実行時間を主な指標として、ORBSLAM2、DSO、VSOと比較する。

実験結果

リサーチクエスチョン

• RQ1 SNNFによるセマンティックに注意を払ったデータアソシエーションは、屋外環境におけるエッジベースのビジョウ・オドメトリの収束半径とロバスト性をどのように向上させるか？
• RQ2 学習済みエッジ（深層ネットワークからのもの）と従来のCannyエッジの両方を用いたエッジ検出手法の相対的な影響は、自己移動推定精度にどのように現れるか？
• RQ3 都市部および高速道路シーンにおいて、セマンティック制約は非都市部や植生が支配的な環境と比較して、トラッキング性能をどの程度向上させるか？
• RQ4 セマンティックエッジを統合した直接的VOフレームワークは、最先端の間接的および直接的VOシステムを上回る精度とロバスト性を達成できるか？
• RQ5 セマンティックエッジの統合は、大規模な屋外マッピングにおける実行時間とリアルタイム実現可能性にどのように影響を与えるか？

主な発見

• 提案手法は、KITTIシーケンス00、02、08、09において最小のトラジェクトリ誤差を達成し、特にシーケンス00では11.82%の誤差を記録。これに対してORBSLAM2（16.14%）とDSO（16.83%）を上回る性能を示した。
• 高速道路シーケンス（例：00、02、09）において、他の手法が失敗する状況でも、本システムは完全なトラジェクトリを回復でき、収束のロバスト性が顕著に優れていることを示した。
• エンドツーエンドで学習されたエッジを用いることで、統合エッジ表現よりも高いトラッキング精度が得られ、エッジ学習の安定性が向上していることが示された。
• セマンティック制約は都市部および高速道路シーンにおいて顕著な性能向上をもたらすが、村などエッジ密度が低く、セマンティックに曖昧な環境ではほとんど効果が見られない。
• NVIDIA GTX 1080Ti上では、1枚あたり約0.7秒で処理が可能であり、準オンライン動作が可能。セマンティックエッジ計算とSNNF処理のため、DSOに比べて処理時間が1.34倍に増加した。
• アブレーションスタディの結果、エッジベースのVOは、エッジとセマンティック要因が豊富に存在する環境で最も利益を享受するが、エッジが乏しく植生が支配的な環境では性能が低下することが確認された。