[論文レビュー] Real-Time, Flight-Ready, Non-Cooperative Spacecraft Pose Estimation Using Monocular Imagery

Kevin P. Black, Shrivu Shankar+4 more|arXiv (Cornell University)|Jan 23, 2021

Space Satellite Systems and Control参考文献 28被引用数 22

ひとこと要約

本論文では、合成データにのみトレーニングされた軽量畳み込みニューラルネットワーク（CNN）アーキテクチャを用いて、非協力的宇宙船のリアルタイムで飛行適合性のある単眼ポーズ推定システムを提示する。このシステムは、ノースロップ・グリューマン社のエンハンスド・サイニウス宇宙船の実宇宙画像において最先端の精度を達成し、低消費電力の飛行類似ハードウェア上で6.6 Hzで動作し、実データを用いたトレーニングなしで堅牢な一般化性能とリアルタイム性能を示している。

ABSTRACT

A key requirement for autonomous on-orbit proximity operations is the estimation of a target spacecraft's relative pose (position and orientation). It is desirable to employ monocular cameras for this problem due to their low cost, weight, and power requirements. This work presents a novel convolutional neural network (CNN)-based monocular pose estimation system that achieves state-of-the-art accuracy with low computational demand. In combination with a Blender-based synthetic data generation scheme, the system demonstrates the ability to generalize from purely synthetic training data to real in-space imagery of the Northrop Grumman Enhanced Cygnus spacecraft. Additionally, the system achieves real-time performance on low-power flight-like hardware.

研究の動機と目的

• 小型衛星の厳しい電力および質量制約に適合するリアルタイムで計算コストの低いポーズ推定システムの開発。
• 実宇宙でのラベル付き画像の不足を避けるために、実際の訓練データを一切使用せずに合成データのみで非協力的宇宙船の正確なポーズ推定を可能にすること。
• インテル・ジュール570xシングルボードコンピュータなどの低消費電力で放射線に敏感な飛行用ハードウェア上でリアルタイムで動作することを保証すること。
• 低SNR、変動する照明、複雑な背景といった困難な宇宙撮影条件に対する耐性を向上させること。
• 信頼性の低いポーズ推定をフィルタリングするための誤差予測モジュールの統合により、システムの信頼性を向上させること。

提案手法

• システムは、物体検出、キーポoin回帰、およびパースペクティブ・ニーポoin（PnP）ポーズソルビングの3段階からなるCNNパイプラインを用いる。
• 独創的な誤差予測ネットワークが不確実性を推定し、品質が低いポーズ推定を特定して却下する。
• BlenderのCyclesエンジンを用いて、ノイズ、ぼかし、照明の変動などの現実的な劣化を加えた合成画像を生成することで、一般化性能を向上させる。
• モデル全体は、ノースロップ・グリューマン社のエンハンスド・サイニウス宇宙船の合成データ上でエンドツーエンドにトレーニングされ、トレーニング中に実画像は一切使用していない。
• 推論の最適化にはx86アーキテクチャ向けにOpenVINOが使用され、低消費電力プロセッサ上で速度が顕著に向上した。
• ハードウェア性能は、ナサ・シークァー・カブサットミッションに使用された飛行実績のあるCOTSシングルボードコンピュータであるインテル・ジュール570xでベンチマークされた。

実験結果

リサーチクエスチョン

• RQ1 合成データにのみトレーニングされた単眼ポーズ推定システムは、非協力的宇宙船の実宇宙画像に効果的に一般化できるか？
• RQ2 軽量CNNベースのアーキテクチャは、低消費電力で放射線に敏感な飛行ハードウェア上でリアルタイム性能（≥1 Hz）を達成できるか？
• RQ3 不確実性を考慮した誤差予測モジュールの統合は、誤ったポーズ推定を効果的にフィルタリングするのにどの程度有効か？
• RQ4 現実の宇宙撮影条件に対する耐性を高めるために、現実的な画像劣化を加えた合成データ増強はどの程度効果的か？
• RQ5 インテル・ジュール570xのような飛行代表的なハードウェア上でのポーズ推定システムの実現可能な推論速度と消費電力はどの程度か？

主な発見

• SPEEDデータセットにおいて最先端の精度を達成し、ESAのタングォ宇宙船の合成データにおいて強力な性能を示した。
• 実データを一切使用しないにもかかわらず、ノースロップ・グリューマン社のエンハンスド・サイニウス宇宙船の実画像に効果的に一般化され、困難な視認条件下で中央値の回転誤差が17.5°、並進誤差が0.105 mであった。
• インテル・ジュール570xシングルボードコンピュータ上でOpenVINO最適化後、6.6 Hzで動作し、飛行代表的なハードウェア上でリアルタイム性能を達成した。
• 誤差予測ネットワークは、品質が低い推定を効果的に特定して却下した。1件の失敗事例では予測誤差が86に達し、高い不確実性を示した。
• 推論時間はTensorFlowの1.777秒からOpenVINOの0.152秒に短縮され、10倍の高速化が達成され、熱平衡状態で安定した3.7Wの消費電力が維持された。
• 回転対称性の問題や複雑な背景に対しても耐性を示し、ロゴなどのキービジュアル特徴が隠されても性能が維持された。