[論文レビュー] Pose Estimation for Non-Cooperative Rendezvous Using Neural Networks

S. K. Sharma, Simone D’Amico|arXiv (Cornell University)|Jun 24, 2019

Robotics and Sensor-Based Localization参考文献 37被引用数 13

ひとこと要約

本論文は、1枚のモノクログレースケール画像のみを用いて、協力的でない宇宙船の相対姿勢（位置および姿勢）を推定する深層学習ベースの手法、Spacecraft Pose Network（SPN）を提案する。SPNは、アーリアム・コンセプトを用いたハイブリッド分類・回帰による姿勢推定のための3本のCNNと、位置推定のためのガウス・ニュートン法を採用しており、合成データのみで学習されたにもかかわらず、実際の宇宙に類似した画像において、度単位の姿勢誤差とセンチメートル単位の位置誤差を達成している。

ABSTRACT

This work introduces the Spacecraft Pose Network (SPN) for on-board estimation of the pose, i.e., the relative position and attitude, of a known non-cooperative spacecraft using monocular vision. In contrast to other state-of-the-art pose estimation approaches for spaceborne applications, the SPN method does not require the formulation of hand-engineered features and only requires a single grayscale image to determine the pose of the spacecraft relative to the camera. The SPN method uses a Convolutional Neural Network (CNN) with three branches to solve for the pose. The first branch of the CNN bootstraps a state-of-the-art object detector to detect a 2D bounding box around the target spacecraft. The region inside the bounding box is then used by the other two branches of the CNN to determine the attitude by initially classifying the input region into discrete coarse attitude labels before regressing to a finer estimate. The SPN method then uses a novel Gauss-Newton algorithm to estimate the position by using the constraints imposed by the detected 2D bounding box and the estimated attitude. The secondary contribution of this work is the generation of the Spacecraft PosE Estimation Dataset (SPEED). SPEED consists of synthetic as well as actual camera images of a mock-up of the Tango spacecraft from the PRISMA mission. The synthetic images are created by fusing OpenGL-based renderings of the spacecraft's 3D model with actual images of the Earth captured by the Himawari-8 meteorological satellite. The actual camera images are created using a 7 degrees-of-freedom robotic arm, which positions and orients a vision-based sensor with respect to a full-scale mock-up of the Tango spacecraft. The SPN method, trained only on synthetic images, produces degree-level attitude error and cm-level position errors when evaluated on the actual camera images not used during training.

研究の動機と目的

• 単一のモノクロカメラ画像のみを用いて、宇宙船上での自律的かつ非協力的宇宙船の姿勢推定を可能にすること。
• 手動で設計された特徴量を必要とし、照明変化に敏感な従来の特徴量ベース手法の限界を克服すること。
• 合成データで学習し、実世界の条件に一般化することで、宇宙船搭載の姿勢推定におけるシミュレーションから実世界へのギャップを埋めること。
• モノクロ画像の姿勢推定アルゴリズムの学習および評価に適した、高精度の公開データセット（SPEED）を構築すること。
• 事前姿勢知識や複雑なセンサフュージョンを必要とせず、エンドツーエンドの深層学習が高精度な姿勢推定を達成できることを実証すること。

提案手法

• SPNアーキテクチャは、3本の畳み込みニューラルネットワークを用いる：1本のブランチは、最先端の物体検出フレームワークを用いて、ターゲット宇宙船の2次元バウンディングボックス検出を実行する。
• 残りの2本のブランチは、ハイブリッド手法による相対姿勢推定を実行する：まず粗い姿勢を離散的なビンに分類し、その後、回帰ヘッドを用いて詳細な推定値に回帰する。
• 相対位置は、検出された2次元バウンディングボックスと推定された姿勢を活用して3次元位置を解く、新規のガウス・ニュートン最適化アルゴリズムを用いて計算される。
• 本手法は、Himawari-8の実際の地球画像とTango宇宙船の3次元レンダリングを融合して生成された合成画像のみで学習される。
• キャリブレーション済みの照明を備えたカスタムのロボットアームシステムを用いて、軌道上の照明条件を模倣し、評価用の実際のカメラ画像を取得する。
• 訓練プロセスでは、一般化を向上させるためにデータ拡張およびドメインランダマイゼーションの原則が適用されるが、合成データに対してわずかな過学習が見られる。

実験結果

リサーチクエスチョン

• RQ1 合成データのみで学習されたディープラーニングモデルが、実世界のフィンガリングなしで、実際の宇宙に類似した画像において高精度な姿勢推定を達成できるか？
• RQ2 直接回帰や純粋な分類と比較して、ハイブリッド分類・回帰アプローチは相対姿勢推定においてどの程度有効であるか？
• RQ3 視覚投影およびガウス・ニュートン最適化を用いた幾何的制約の使用が、位置推定精度をどの程度向上させるか？
• RQ4 合成画像と実画像の間の性能ギャップはどの程度で、ドメインシフトを低減するための技術は何か？
• RQ5 実際の照明および撮影条件を再現した公開データセット（SPEED）が、モノクロ宇宙船の姿勢推定に信頼できるベンチマークとして機能できるか？

主な発見

• SPEEDデータセットの実カメラ画像を評価対象として、SPN手法は合成データでのみ学習されたにもかかわらず、平均相対姿勢誤差が1度未満に達している。
• 実際のテストセットにおいて、平均相対位置誤差は10 cm未満であり、合成データから実世界への一般化が強く示されている。
• 合成データから実データへの性能低下は最小限に抑えられており、姿勢誤差は0.5°未満、位置誤差は2 cm未満にしか増加していないため、ドメインシフトに対して強い耐性を示している。
• 姿勢分類ブランチが出力する確率分布は、実画像では合成データよりもピークの信頼度が低く、合成学習分布への過学習が示唆されている。
• バウンディングボックス検出部は良好に機能しており、横方向の位置誤差は光軸方向の誤差よりも1桁以上小さいため、中心推定が正確であることが示唆されている。
• 部分的視認のターゲットに対しても効果的に一般化しているが、非常に近距離で宇宙船が一部しか視認されない場合、性能が低下しており、遮蔽処理のさらなる改善が求められる。