[論文レビュー] You Only Crash Once: Improved Object Detection for Real-Time, Sim-to-Real Hazardous Terrain Detection and Classification for Autonomous Planetary Landings

Timothy Chase, Chris Gnam+2 more|arXiv (Cornell University)|Mar 8, 2023

Space Satellite Systems and Control被引用数 6

ひとこと要約

本稿では、シミュレーションから実環境への一般化を可能にするリアルタイムな、自律的火星着陸用の物体検出システムであるYou Only Crash Once (YOCO) を提案する。YOLOv3 を用い、教師なしドメイン適応と視覚的類似性クラスタリングを統合することで、実世界のアノテート済みデータや事前飛行時の危険地形マップを一切必要とせず、クレーター、砂地、山脈などの危険な地形を検出・分類可能であり、シミュレーションおよび実際の火星地形の両環境でYOLOv3を上回る高い検出精度と耐障害性を達成している。

ABSTRACT

The detection of hazardous terrain during the planetary landing of spacecraft plays a critical role in assuring vehicle safety and mission success. A cheap and effective way of detecting hazardous terrain is through the use of visual cameras, which ensure operational ability from atmospheric entry through touchdown. Plagued by resource constraints and limited computational power, traditional techniques for visual hazardous terrain detection focus on template matching and registration to pre-built hazard maps. Although successful on previous missions, this approach is restricted to the specificity of the templates and limited by the fidelity of the underlying hazard map, which both require extensive pre-flight cost and effort to obtain and develop. Terrestrial systems that perform a similar task in applications such as autonomous driving utilize state-of-the-art deep learning techniques to successfully localize and classify navigation hazards. Advancements in spacecraft co-processors aimed at accelerating deep learning inference enable the application of these methods in space for the first time. In this work, we introduce You Only Crash Once (YOCO), a deep learning-based visual hazardous terrain detection and classification technique for autonomous spacecraft planetary landings. Through the use of unsupervised domain adaptation we tailor YOCO for training by simulation, removing the need for real-world annotated data and expensive mission surveying phases. We further improve the transfer of representative terrain knowledge between simulation and the real world through visual similarity clustering. We demonstrate the utility of YOCO through a series of terrestrial and extraterrestrial simulation-to-real experiments and show substantial improvements toward the ability to both detect and accurately classify instances of planetary terrain.

研究の動機と目的

• 事前飛行時の危険地形マップや実世界のアノテート済みデータに依存しない、リアルタイムで汎用性のある自律宇宙船着陸用の視覚的危険検出システムの開発。
• 事前構築された危険地形マップに依存するテンプレートベース手法の限界を克服し、既知の地形特徴に限定されない。
• ドメイン適応と視覚的類似性クラスタリングを用いて、シミュレーションから実地球表面への効果的な転送を実現する。
• リソース制限のある宇宙用コンputing環境下でも、クレーター、砂地、山脈などの多様な地形クラスの検出精度と耐障害性を向上させる。
• シミュレーションから実環境への一般化を経て、地上の最先端ディープラーニング技術を宇宙ミッションに適用可能であることを実証する。

提案手法

• 宇宙船の共プロセッサ上でリアルタイム推論が可能な、YOLOv3 の1段階物体検出アーキテクチャを応用する。
• 教師なしドメイン適応を採用し、完全に合成シミュレーションデータ上でモデルを学習することで、実世界のアノテート済みデータの必要性を排除する。
• 外観に基づく視覚的類似性クラスタリングを導入し、地形特徴を外観の類似性でグループ化することで、シミュレーションと実世界の分布の整合性を向上させる。
• クラスタリングにより、ドメイン間での地形外観のクラス内変動を低減することで、ドメインシフト問題の簡素化を図る。
• 一般化性を高めるために、照明、スケール、テクスチャにばらつきを持つ多様な合成惑星地形データセット上でモデルを学習する。
• 実火星EDL画像およびHiRISE軌道上ランドマークを用いたシミュレーションから実環境への実験を通じて性能を検証し、YOLOv3 と比較する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションデータのみで学習したディープラーニングベースの物体検出システムは、実火星表面の危険地形を高い精度で検出・分類できるか？
• RQ2 視覚的類似性クラスタリングは、シミュレーションから実環境への危険地形検出におけるドメイン適応性能をどのように向上させるか？
• RQ3 YOCO は、実世界の火星画像において、砂地や山脈といった困難な地形クラスをYOLOv3 よりもどれほど効果的に検出できるか？
• RQ4 微調整なしで、高解像度のHiRISE画像のような分布外データに一般化できるか？
• RQ5 ドメイン適応とクラスタリングの統合は、特徴が乏しい惑星環境でも、堅牢な検出を可能にするか？

主な発見

• YOCO は、実火星EDL画像において、YOLOv3 よりもはるかに多くのクレーターを検出しており、誤分類が少なく、局所化精度も向上している。
• YOCO は、実世界の火星画像においても、砂地や山脈の地形クラスを正しく検出しているのに対し、YOLOv3 は大多数のケースでこれらのクラスを完全に検出できていない。
• HiRISEランドマーク実験では、YOLOv3 が完全に見逃していた地形特徴（外見上、山脈に似たクレーターを含む）をYOCO が検出している。
• 誤って地形を誤分類した場合（例：クレーターを山脈とマーク）でも、YOCO は妥当な地形特徴を正しく局所化しており、堅牢な表現学習の能力を示している。
• 分布外データに対しても、強力な性能を維持しており、シミュレーションから実地球外環境への効果的な一般化が図られていることが示された。
• 視覚的類似性クラスタリングにより、クラス内外観変動が低減され、シミュレーションから現実への地形知識の転送性が向上した。