[論文レビュー] Utilizing Semantic Visual Landmarks for Precise Vehicle Navigation

Varun Murali, Han-Pang Chiu+3 more|arXiv (Cornell University)|Jan 2, 2018

Robotics and Sensor-Based Localization参考文献 19被引用数 4

ひとこと要約

本論文では、事前学習済みの深層学習モデルからのセマンティックセグメンテーションを統合することで、視覚的ランドマークに基づくナビゲーション中に一時的な視覚的特徴（例：車両、歩行者）を除外するゲート付き要因グラフフレームワークを提案する。特徴追跡、マップ構築、ナビゲーションの各段階でセマンティックに注意を払った特徴選択を適用することにより、GPS非利用環境における3次元RMS誤差で21%の精度向上を達成し、最小限のシステム変更で都市環境全体にわたり高い耐障害性と一般化性能を示した。

ABSTRACT

This paper presents a new approach for integrating semantic information for vision-based vehicle navigation. Although vision-based vehicle navigation systems using pre-mapped visual landmarks are capable of achieving submeter level accuracy in large-scale urban environment, a typical error source in this type of systems comes from the presence of visual landmarks or features from temporal objects in the environment, such as cars and pedestrians. We propose a gated factor graph framework to use semantic information associated with visual features to make decisions on outlier/ inlier computation from three perspectives: the feature tracking process, the geo-referenced map building process, and the navigation system using pre-mapped landmarks. The class category that the visual feature belongs to is extracted from a pre-trained deep learning network trained for semantic segmentation. The feasibility and generality of our approach is demonstrated by our implementations on top of two vision-based navigation systems. Experimental evaluations validate that the injection of semantic information associated with visual landmarks using our approach achieves substantial improvements in accuracy on GPS-denied navigation solutions for large-scale urban scenarios

研究の動機と目的

• 視覚ベースの車両ナビゲーションシステムにおける精度低下要因となる一時的視覚的特徴（例：移動中の車両、歩行者）の持続的課題に対処すること。
• マップ構築段階で意味的になくても一時的な特徴を除外することで、地理的位置を付与された視覚マップの品質を向上させること。
• ランドマーク選択と追跡をセマンティックラベルでガイドすることで、GPS非利用環境におけるリアルタイムナビゲーション精度を向上させること。
• 既存のビジュアルSLAMおよびナビゲーションシステムと互換性がある汎用的で即座に統合可能なフレームワークを開発すること。
• 市販の深層学習モデルから得られるセマンティック情報が、大規模都市環境におけるナビゲーションの耐障害性と精度を顕著に向上させられることを実証すること。

提案手法

• 視覚ナビゲーションシステムの要因グラフ定式化にセマンティックラベルを統合するゲート付き要因グラフフレームワークを導入する。
• 入力画像に適用された事前学習済みセマンティックセグメンテーションネットワーク（例：DeepLabまたは類似モデル）からセマンティックラベルを抽出する。
• 『一時的』とラベル付けされた特徴（例：車両、歩行者）は、ゲーティング機構を用いて特徴追跡およびマップ構築段階で抑制する。
• フレームワークは3段階の処理に適用される：(1) リアルタイム特徴追跡、(2) 事前にマップ化された地理的位置を付与されたマップ構築、(3) 事前にマップ化されたランドマークを用いたGPS非利用ナビゲーション。
• 各事前にマップ化されたランドマークを要因グラフ内の1つの測定値として扱い、セマンティックラベルを用いて観測の信頼性に基づいて重み付けまたは除外する。
• 本手法は2つの最先端のシステムで評価された：ORB-SLAM2（特徴追跡の改善用）および事前にマップ化されたビジュアルインertialナビゲーションシステム（マップおよびナビゲーションの向上用）。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みモデルからのセマンティックセグメンテーションが、視覚ナビゲーション精度に及ぼす一時的視覚的特徴の影響を効果的に低減できるか？
• RQ2 セマンティックに注意を払ったフィルタリングは、GPS非利用都市環境における事前にマップ化された視覚ランドマークシステムの耐障害性と精度をどのように向上させるか？
• RQ3 シンプルで即座に統合可能なセマンティックゲーティング機構は、多様な都市シーンにわたり、マップ品質およびナビゲーション性能をどの程度向上できるか？
• RQ4 セマンティック情報の統合により、RMS、中央値、90百分位誤差といった3次元軌道誤差指標に測定可能な改善が見られるか？
• RQ5 提案フレームワークは、主要なアーキテクチャの変更なしに、さまざまなビジュアルナビゲーションシステムに一般化可能か？

主な発見

• 提案手法は、テストシーケンス全体でGPS非利用ナビゲーションにおける3次元ルート・ミーン・スクエア（RMS）誤差に21%の向上を達成した。
• 3次元中央値誤差は19.1%低下し、90百分位誤差は22%改善され、困難な条件下でも耐障害性が向上していることが示された。
• すべてのテストシーケンスでカメラ再焦点誤差が約30 cm低下し、標準偏差も低く抑えられ、季節的変化にわたる一貫性が向上した。
• 駐車車両、高速道路、木々が並ぶ通りなどの環境でも耐障害性が向上しており、多様な都市シーンへの一般化が確認された。
• セマンティック選択モジュールは、事前マッピング段階で駐車車両などの一時的特徴を除外することで、マップ品質を顕著に向上させた。
• リアルタイム追跡（例：ORB-SLAM2）および事前マップ化ナビゲーションシステムへの適用においても、本フレームワークは有効であることが示され、汎用性と互換性が裏付けられた。