[論文レビュー] Aerial Map-Based Navigation Using Semantic Segmentation and Pattern Matching

Youngjoo Kim|arXiv (Cornell University)|Jul 1, 2021

Robotics and Sensor-Based Localization参考文献 17被引用数 4

ひとこと要約

本論文は、無人航空機のための耐障害性の高い地図ベースのナビゲーションシステムを提案する。この手法は空中画像から高レベルのオブジェクトラベル（例：道路、建物）をセマンティックセグメンテーションにより抽出し、地図データベースとのラベルベースのパターンマッチングを実行することで、絶対的な水平位置を推定する。本手法は、カメラモデルや高度データを必要とせず、シミュレーションにおいて1m未塔の精度を達成しており、現実のセンサーおよび処理誤差下でも実現可能性を示している。

ABSTRACT

This paper proposes a novel approach to map-based navigation system for unmanned aircraft. The proposed system attempts label-to-label matching, not image-to-image matching, between aerial images and a map database. The ground objects can be labelled by deep learning approaches and the configuration of the objects is used to find the corresponding location in the map database. The use of the deep learning technique as a tool for extracting high-level features reduces the image-based localization problem to a pattern matching problem. This paper proposes a pattern matching algorithm that does not require altitude information or a camera model to estimate the absolute horizontal position. The feasibility analysis with simulated images shows the proposed map-based navigation can be realized with the proposed pattern matching algorithm and it is able to provide positions given the labelled objects.

研究の動機と目的

• 公開利用可能な地図データベースを用いた、無人航空機向けの耐障害性の高いGNSS非利用ナビゲーションシステムの開発。
• 照明、スケール、季節的変化などの要因により画像ベースのマッチングに限界をもたらす視覚ナビゲーションの課題を克服すること。
• 高分解能DEMや高価なアルティメータに依存を減らすために、生画像ピクセルではなくセマンティックラベルを用いること。
• ディープラーニングで抽出された特徴を用いて画像マッチングをパターンマッチング問題に変換することで、効率的かつスケーラブルなナビゲーションを実現すること。
• シミュレートされたデータを用いて、現実のセンサーおよび処理誤差下での本手法の実現可能性を検証すること。

提案手法

• 空中画像および地図データベースにおいて、地面のオブジェクト（例：道路、建物）をセマンティックセグメンテーションによりラベリングし、高レベルの空間的構成を抽出する。
• ローカライゼーション問題を、画像と地図間の画像対画像マッチングではなく、ラベル化されたオブジェクト構成間のパターンマッチングタスクとして扱う。
• カメラモデルや高度情報を必要とせず、ラベル化されたオブジェクトの相対的空間的関係を用いて絶対的な水平位置を推定するパターンマッチングアルゴリズムを採用する。
• 誤検出と拒否のバランスを取るために、N_min（最小一致点数）、δθ（角度閾値）、δr（距離閾値）のパラメータを用いたしきい値ベースのマッチング戦略を適用する。
• 現実の誤差を再現するため、姿勢誤差（ピッチ/ロール）、ピクセルレベルの位置ずれ誤差、および可変視野（FOV）をシミュレーションに組み込み、耐障害性をテストする。
• 500回のランダムな真の位置を用いたモンテカルロシミュレーションにより、複数の誤差およびFOV条件下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 空中画像と地図データベース間のラベルベースのパターンマッチングは、GNSSが利用できない状況下でも、信頼性のある絶対的水平位置推定を可能にするか？
• RQ2 本手法は、シミュレートされたフライト条件下での姿勢誤差、ピクセルレベルの位置ずれノイズ、可変視野に対してどれほど頑健か？
• RQ3 検出されたラベル化されたオブジェクトの数を増やすことで、マッチング成功率が向上し、推定誤差が低下する程度はどの程度か？
• RQ4 現実のセンサーおよび処理誤差下でも、本手法は精度を維持し、誤検出率を低く保てるか？
• RQ5 カメラモデルや高度情報が欠落している場合、ローカライゼーション性能に顕著な悪影響が及ぶか？

主な発見

• パターンマッチングアルゴリズムは、シミュレーションにおいて1m未塔の水平位置推定誤差を達成しており、最良ケースでは0.15°の姿勢誤差によるわずか0.26mの誤差を示した。
• 35°のFOVと標準誤差レベル（0.05°の姿勢誤差、1ピクセルのピクセル誤差）の下で、本手法は4.4%のマッチング拒否率と1.8%の誤検出率を示し、強い耐障害性を示した。
• ピクセル誤差を3ピクセルに増加させた場合、誤検出率が上昇（ケース3では12.4%に）したが、これは領域固有の事前知識を用いることで緩和可能であった。
• より大きなFOV（45°）では、オブジェクト数が約17から約34に増加し、拒否率は0%、誤検出率は1.8%に低下したが、ピクセル誤差が高くなったにもかかわらず、依然として良好な性能を示した。
• 姿勢誤差は、小さなピッチ/ロール変動下でもラベル化されたオブジェクトの相対的配置が安定しているため、マッチング性能にほとんど影響を与えなかった。
• 生画像データをコンactでノイズに強いセマンティックラベルに変換することで、リアルタイムかつ低複雑度のナビゲーションが実現可能であることを示した。