[論文レビュー] Spacecraft Pose Estimation Based on Unsupervised Domain Adaptation and on a 3D-Guided Loss Combination

Juan Ignacio Bravo Pérez-Villar, Álvaro García‐Martín+1 more|arXiv (Cornell University)|Dec 27, 2022

Space Satellite Systems and Control被引用数 4

ひとこと要約

本論文は、シミュレートされた環境と現実世界のテスト条件の間のドメインシフトを解消するために合成データを活用し、宇宙船のポーズ推定のための3次元ガイドド損失と教師なしドメイン適応（UDA）手法を提案する。2021年ESA-Stanfordポーズ推定チャレンジにおいて、SunlampおよびLightboxの両テストセットで平均誤差が最低となり、第二位の成績を収めた。これは、照明の変化や反射に対する頑健性を示している。

ABSTRACT

Spacecraft pose estimation is a key task to enable space missions in which two spacecrafts must navigate around each other. Current state-of-the-art algorithms for pose estimation employ data-driven techniques. However, there is an absence of real training data for spacecraft imaged in space conditions due to the costs and difficulties associated with the space environment. This has motivated the introduction of 3D data simulators, solving the issue of data availability but introducing a large gap between the training (source) and test (target) domains. We explore a method that incorporates 3D structure into the spacecraft pose estimation pipeline to provide robustness to intensity domain shift and we present an algorithm for unsupervised domain adaptation with robust pseudo-labelling. Our solution has ranked second in the two categories of the 2021 Pose Estimation Challenge organised by the European Space Agency and the Stanford University, achieving the lowest average error over the two categories.

研究の動機と目的

• データ駆動型モデルの学習に必要な軌道上での宇宙船ポーズデータの不足に対処する。
• 照明、反射、背景条件の違いにより生じる合成学習データと実際のテストデータの間のドメインシフトを克服する。
• 強い反射や変動する照明といった厳しい宇宙環境下でのポーズ推定の頑健性を向上させる。
• ターゲットデータに真値アノテーションが存在しない状況でも、信頼性の高い疑似ラベルを生成できる教師なしドメイン適応戦略を開発する。
• 2つの異なる実世界テストシナリオにおいて、2021年宇宙船ポーズ推定チャレンジ（SPEC2021）で最先端の性能を達成する。

提案手法

• 2次元ヒートマップ損失と3次元ポーズ整合性損失を組み合わせた3次元ガイドド損失を用いて、3次元構造情報を損失関数に統合し、明るさのドメインシフト下でも一般化性能を向上させる。
• 2段階パイプラインを採用：まず、CNN（例：HRNet）により2次元キーポイントヒートマップを予測し、次に2次元-3次元対応点からPnPを用いて6-DoFポーズを推定する。
• RANSAC-EPnPを用いた反復的疑似ラベリングにより、教師なしドメイン適応を実装し、ラベルなしのターゲット画像に対して信頼性の高いポーズ予測を生成する。
• 自己学習ループを実装し、信頼度の高い疑似ラベル付きターゲットサンプルでモデルを再学習する。再投影誤差の動的しきい値を用いてラベル品質を制御する。
• バリデーションに基づく早期停止基準と信頼度フィルタリングを導入し、疑似ラベリング中にノイズの蓄積を回避する。
• 合成データセットSPEED+（60k枚）で学習し、適応的しきい値を用いたUDAにより、ターゲットデータセット（SunlampおよびLightbox）でファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 照明や反射の違いによるドメインシフト下でも、損失関数に3次元幾何的構造を組み込むことで、ポーズ推定の頑健性が向上するか？
• RQ2 実際のターゲットラベルが存在しない状況で、頑健な疑似ラベリングを用いた教師なしドメイン適応は、宇宙船ポーズ推定に対してどの程度効果的か？
• RQ3 疑似ラベリング中に再投影誤差のしきい値を動的に調整することで、SunlampおよびLightboxのような視覚的に多様なテストセットでの性能が向上するか？
• RQ4 合成データで学習した1つのモデルが、強い反射や複雑な背景を持つ実世界のテストシナリオに効果的に一般化できるか？
• RQ5 3次元ガイドド損失は、厳しい宇宙環境下での位置誤差および姿勢誤差をどの程度低減できるか？

主な発見

• 提案手法は、2021年SPEC2021チャレンジにおいて、SunlampおよびLightboxの両テストセットで平均誤差が2番目に低く、全体の平均スコアが最高となった。
• Sunlampデータセットでは、合計誤差が1.0692にまで低下し、ベースラインの1.2324よりも顕著に低かった。
• Lightboxデータセットでは、合計誤差が1.0546にまで低下し、ベースラインの1.1823を上回った。
• 3次元ガイドド損失の導入により、合成データから実データへのドメインシフトに対しても一般化性能が向上し、誤差が低減した。
• 再投影誤差のしきい値を2.0から1.0へと動的に変更した反復的疑似ラベリングにより、Lightboxセットでは遅いがより安定した疑似ラベル数の増加が見られたが、最終的な性能は固定しきい値と同等だった。
• 本手法は両データセットで高い性能を維持した。これは、照明の変化や背景の複雑さに対する強い頑健性を示している。