[論文レビュー] Rock Hunting With Martian Machine Vision

David Noever, Samantha E. Miller Noever|arXiv (Cornell University)|Apr 9, 2021

Planetary Science and Exploration参考文献 11被引用数 5

ひとこと要約

本論文は、パーセルバランス探査車のビジョンシステムを用いて、リアルタイムでの火星の岩検出を実現する低消費電力でエッジ最適化されたディープラーニングシステムを提示する。マイコンテナーブルにデプロイ可能なニューラルネットワークのファインチューニングおよび量子化により、ローバー対岩分類で97％の精度を達成し、リアルタイムでのバウンディングボックスロケーションを可能にした。これは、制限された計算リソースのもとでの自律的惑星探査の実現可能性を示している。

ABSTRACT

The Mars Perseverance rover applies computer vision for navigation and hazard avoidance. The challenge to do onboard object recognition highlights the need for low-power, customized training, often including low-contrast backgrounds. We investigate deep learning methods for the classification and detection of Martian rocks. We report greater than 97% accuracy for binary classifications (rock vs. rover). We fine-tune a detector to render geo-located bounding boxes while counting rocks. For these models to run on microcontrollers, we shrink and quantize the neural networks' weights and demonstrate a low-power rock hunter with faster frame rates (1 frame per second) but lower accuracy (37%).

研究の動機と目的

• 最小限の電力および計算コストで、地上のコンピュータビジョンを用いた火星における自律的岩検出を可能にすること。
• 宇宙探査車に一般的に用いられるリソース制約のあるマイコンテナーブルに適したディープラーニングモデルの適応。
• 低コントラストで複雑な火星の地形においても、岩分類およびロケーションの高精度を維持すること。
• エッジデプロイに適したモデル圧縮技術（知識蒸留および量子化など）の検討。
• ペルセヴァランス探査車でのリアルタイム動作を実現するため、推論速度、モデルサイズ、精度のバランスをとること。

提案手法

• 火星の地形画像において、地理的位置をもつバウンディングボックスで岩を局所化できるように、事前学習済みのオブジェクト検出モデルをファインチューニングした。
• マイコンテナーブルへのデプロイに適した神経ネットワークの圧縮のため、知識蒸留と重み量子化を適用した。
• ネットワーク重みを8ビット整数に量子化・削減することで、モデルサイズと推論時間を削減した。
• 低コントラストで自然な火星背景を用いた画像を用いて、岩対ローバー分類のバイナリ分類器を訓練した。
• 組み込みハードウェア上で1フレーム/秒の推論速度を達成するよう、推論パイプラインを最適化したが、精度は若干低下した。
• 限定的なラベル付きデータで火星の岩認識に適応するため、ImageNetで事前学習されたモデルを用いたトランスファー学習を実施した。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの火星における岩検出に適した、マイコンテナーブルに効果的に圧縮・デプロイ可能なディープラーニングモデルは構築可能か？
• RQ2 宇宙ミッションにおけるエッジデプロイに適した、深層ニューラルネットワークの量子化および縮小処理において、どの程度の精度を維持できるか？
• RQ3 モデル圧縮は、火星の運用制約下での組み込みシステムにおける推論速度およびフレームレートにどのように影響を与えるか？
• RQ4 ファインチューニングされたオブジェクト検出器は、火星における科学的サンプリングに十分な精度で岩を局所化できるか？
• RQ5 低消費電力の宇宙ハードウェアにビジョンモデルをデプロイする際、モデルの精度、サイズ、推論速度の間にはどのようなトレードオフが存在するか？

主な発見

• バイナリ分類器（岩対ローバー）は、テストデータで97％を超える精度を達成し、ローバーから岩を高信頼性で区別できることを示した。
• 完全なオブジェクト検出モデルは、高精度な局所化で岩の周囲に地理的位置付きのバウンディングボックスを正しく生成した。
• 量子化および圧縮後、マイコンテナーブル上で1フレーム/秒の推論速度を達成し、リアルタイム動作に適した。
• 圧縮されたモデルは37％の精度を維持したが、これは低消費電力シナリオにおける実用性を裏付けるものである。
• 知識蒸留と重み量子化により、モデルサイズとエネルギー消費量が顕著に削減されたが、精度の著しい低下は発生しなかった。
• 本アプローチは、最小限の搭載計算リソースで自律的惑星探査が可能であることを示しており、エッジ最適化ディープラーニングの実現可能性を裏付けた。