[論文レビュー] SPEED+: Next-Generation Dataset for Spacecraft Pose Estimation across Domain Gap

Tae Ha Park, Marcus Märtens+3 more|arXiv (Cornell University)|Oct 6, 2021

Space Satellite Systems and Control参考文献 46被引用数 132

ひとこと要約

SPEED+ は、合成学習画像と実世界の Hardware-in-the-Loop (HIL) テスト画像の間のドメインギャップを埋める次世代の宇宙飛行機ポーズ推定データセットを提供する。60,000枚の合成画像と、スタンフォード大学の SLAB で実施された TRON テストベッドで、現実的な宇宙空間照明およびポーズ条件下で撮影された9,531枚の高精細HIL画像を組み合わせることで、視覚ベースの機械学習モデルの堅牢な評価を可能にし、SPEED よりも顕著に一般化性能およびドメイン適応性能を向上させる。

ABSTRACT

Autonomous vision-based spaceborne navigation is an enabling technology for future on-orbit servicing and space logistics missions. While computer vision in general has benefited from Machine Learning (ML), training and validating spaceborne ML models are extremely challenging due to the impracticality of acquiring a large-scale labeled dataset of images of the intended target in the space environment. Existing datasets, such as Spacecraft PosE Estimation Dataset (SPEED), have so far mostly relied on synthetic images for both training and validation, which are easy to mass-produce but fail to resemble the visual features and illumination variability inherent to the target spaceborne images. In order to bridge the gap between the current practices and the intended applications in future space missions, this paper introduces SPEED+: the next generation spacecraft pose estimation dataset with specific emphasis on domain gap. In addition to 60,000 synthetic images for training, SPEED+ includes 9,531 hardware-in-the-loop images of a spacecraft mockup model captured from the Testbed for Rendezvous and Optical Navigation (TRON) facility. TRON is a first-of-a-kind robotic testbed capable of capturing an arbitrary number of target images with accurate and maximally diverse pose labels and high-fidelity spaceborne illumination conditions. SPEED+ is used in the second international Satellite Pose Estimation Challenge co-hosted by SLAB and the Advanced Concepts Team of the European Space Agency to evaluate and compare the robustness of spaceborne ML models trained on synthetic images.

研究の動機と目的

• 合成学習画像と実世界のHILテスト画像の間のドメインギャップを解消するため、視覚ベースの機械学習モデルの学習と評価に適した現実的で大規模なベンチマークデータセットを提供すること。
• 純粋に合成されたデータセットの限界を克服し、宇宙環境における実際の視覚的および照明変動を捉えきれない点を改善すること。
• 物理的に撮影されたHIL画像と正確なポーズラベルを用いて、ドメインシフトに伴うモデルの堅牢性を包括的かつ定量的に評価すること。
• 将来的な軌道上サービスおよび宇宙物流ミッションにおけるドメイン一般化および適応技術の開発と検証を支援すること。

提案手法

• 本データセットは、OpenGLベースのレンダリングにより生成された60,000枚の合成画像と、スタンフォード大学のSLABで実施されたTRONロボットテストベッドから撮影された9,531枚の実HIL画像を統合している。
• TRON施設は、正確で多様なポーズラベルと高精細な照明（地球のアルベドと直達日光を含む）を備え、宇宙空間に類似した環境を再現している。
• HIL画像は、既知の内部パラメータを持つキャリブレート済みのPoint Grey Grasshopper 3カメラを用いて撮影されており、幾何的正確性が保証されている。
• 本データセットには、異なる照明条件を模擬する2つの異なるHILドメイン、「lightbox」と「sunlamp」が含まれており、モデルの堅牢性をテストするためのものである。
• 一貫した評価を可能にするために、標準化されたカメラモデルとキャリブレーションパラメータ（fx, fy, px, py, 歪み）が提供されている。
• 性能ベンチマークを確立するために、ベースラインモデル（SPN, KRN, HigherHRNet）とドメイン適応技術（DANN, スタイル増強）が本データセット上で実装・評価されている。

実験結果

リサーチクエスチョン

• RQ1 合成学習データから実HILテスト画像への転移時にモデル性能がどの程度低下するか、また宇宙飛行機ポーズ推定におけるドメインギャップの大きさは何か？
• RQ2 既存のドメイン適応技術（例：DANN, スタイル増強）は、合成画像と実HIL画像の間の性能ギャップをどの程度縮小できるか？
• RQ3 HILドメインにおける異なる照明条件（例：直達日光対拡散照明）が、ポーズ推定モデルの一般化性能に与える影響は何か？
• RQ4 提示されたHIL画像収集は、軌道上での実装前にモデルの堅牢性を検証するための実際の宇宙空間画像の代替として信頼できるものとなるか？

主な発見

• SPEED+ は、SPEED よりも現実的で多様性に富んだデータセットを提供しており、全方向空間と最大10メートルまでの距離をカバーする9,531枚の高精細HIL画像を含む。
• 合成画像とHIL画像の間には顕著なドメインギャップが存在し、合成データで学習したベースラインモデルはHILテストセットで顕著な性能低下を示した。
• DANN やスタイル増強といったドメイン適応技術はドメインギャップを低減し、テストドメイン全体で平均して回転誤差を最大40％まで改善した。
• 赤外マーカー、マウントホール、表面の光沢などの現実的なアーティファクトがHIL画像に正確に再現されており、実世界のモデル検証におけるデータセットの忠実性と有用性が向上した。
• 本データセットにより、多様な照明およびポーズ条件におけるモデルの堅牢性を定量的に評価可能となり、より信頼性の高い軌道上ナビゲーションシステムの開発を支援する。
• データセットはKelvinsプラットフォームおよびZenodo経由でCC BY-NC-SA 4.0ライセンスで公開されており、研究コミュニティにおける広範なアクセス性と再現可能性を確保している。