[論文レビュー] Robotic Testbed for Rendezvous and Optical Navigation: Multi-Source Calibration and Machine Learning Use Cases

Tae Ha Park, Juergen Bosse+1 more|arXiv (Cornell University)|Aug 12, 2021

Space Satellite Systems and Control被引用数 8

ひとこと要約

本論文では、ミリメートルレベルのポーズ精度を実現する高精細なシミュレート画像を用いて、宇宙船光学ナビゲーションにおける機械学習アルゴリズムの検証が可能なロボット実験台であるTRONを提案する。TRONが生成する画像は、合成画像と実世界の宇宙船画像との間で顕著なドメインギャップを露呈しており、実際の照明条件や視点条件下で合成データで訓練された畳み込みニューラルネットワーク（CNN）の耐性を強化できる。

ABSTRACT

This work presents the most recent advances of the Robotic Testbed for Rendezvous and Optical Navigation (TRON) at Stanford University - the first robotic testbed capable of validating machine learning algorithms for spaceborne optical navigation. The TRON facility consists of two 6 degrees-of-freedom KUKA robot arms and a set of Vicon motion track cameras to reconfigure an arbitrary relative pose between a camera and a target mockup model. The facility includes multiple Earth albedo light boxes and a sun lamp to recreate the high-fidelity spaceborne illumination conditions. After the overview of the facility, this work details the multi-source calibration procedure which enables the estimation of the relative pose between the object and the camera with millimeter-level position and millidegree-level orientation accuracies. Finally, a comparative analysis of the synthetic and TRON simulated imageries is performed using a Convolutional Neural Network (CNN) pre-trained on the synthetic images. The result shows a considerable gap in the CNN's performance, suggesting the TRON simulated images can be used to validate the robustness of any machine learning algorithms trained on more easily accessible synthetic imagery from computer graphics.

研究の動機と目的

• 機械学習アルゴリズムの検証を可能にする、現実的な宇宙船光学ナビゲーション条件を再現可能なロボット実験台の開発。
• 軌道上でのCNN性能の低下を引き起こす、合成学習データと実際の宇宙船画像との間のドメインギャップの解消。
• 実際の宇宙船画像にアクセスできない状況下でも、CNNの耐性を地上で検証可能にする。
• 現実的な照明（太陽ランプとアルベドボックス）とテクスチャ付きターゲットモックアップを組み込むことで、シミュレート画像の忠実度を向上。
• 多様で現実的な宇宙環境を反映する次世代データセット（SPEED+）の作成、これにより視覚ベースナビゲーションシステムの訓練と検証を可能にする。

提案手法

• TRON施設は、カメラとターゲットモックアップの相対ポーズをミリメートルレベルの精度で再構成可能な2台の6自由度KUKAロボットアームを用いる。
• KUKAロボットのエンコーダーとViconモーショントラッキングカメラのデータを統合するマルチソースキャリブレーションにより、真の相対ポーズをサブミリメートルおよびミリ度レベルの精度で推定する。
• 10個の地球アルベドライトボックスと水銀ランプ式の太陽ランプを備え、拡散光および直接光に類似した宇宙空間の照明条件を再現する。
• さまざまな照明条件（太陽ランプ対アルベド）、視点角度（太陽パネル対背面パネル）、およびポーズ設定下で高精細なシミュレート画像を取得する。
• 事前に訓練されたCNNを合成データ（SPEED）およびTRONでシミュレートされた画像上で評価し、SPEEDスコア指標を用いてドメインギャップを定量化する。
• データ統合と不正データの除外基準を最適化することで、Vicon測定に依存するのを減らし、キャリブレーションの一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ロボット実験台は、合成画像と実世界の宇宙船画像との間のドメインギャップを露呈させる十分な忠実度のシミュレート画像を生成できるか？
• RQ2 照明のリアルさ（太陽ランプ対アルベド）は、合成データで訓練されたCNNと、シミュレートデータでテストされたCNNとの間の性能ギャップにどのように影響するか？
• RQ3 ターゲットモックアップの表面テクスチャ（例：背面パネル対太陽パネル）は、CNN性能におけるドメインギャップに影響を及ぼすか？
• RQ4 TRONで生成されたシミュレート画像を、合成データで訓練されたCNNの耐性を検証するためにどの程度活用できるか？
• RQ5 TRON施設は、未知の宇宙空間ドメインをよりよく反映する次世代データセット（SPEED+）の作成を可能にするか？

主な発見

• KUKAとViconシステムのマルチソースキャリブレーションにより、TRONは相対ポーズ推定においてミリメートルレベルの位置精度とミリ度レベルの姿勢精度を達成した。
• SPEEDの合成画像で事前に訓練されたCNNは、TRONでシミュレートされた画像では著しく性能が低下しており、顕著なドメインギャップが確認された。
• ドメインギャップは、太陽ランプ照明下で、Tangoモックアップのテクスチャのある背面パネルを観測する際に最も顕著に現れ、これらの条件下での再現性が高いためである。
• TRONで生成されたシミュレート画像は、特に高精細な照明条件と複雑な表面テクスチャを用いることで、ドメインシフトの特定と定量化に有効である。
• 太陽ランプと背面パネルの視点を用いることで、課題の難易度と現実性が向上し、これらは耐性テストに最適な構成である。
• TRONは、現実の宇宙環境下での視覚ベースナビゲーションシステムの訓練と検証に適した、約10,000枚の高精細なシミュレート画像からなるSPEED+という次世代データセットの作成を可能にした。