[論文レビュー] Towards Robust Learning-Based Pose Estimation of Noncooperative Spacecraft

Tae Ha Park, S. K. Sharma+1 more|arXiv (Cornell University)|Sep 1, 2019

Space Satellite Systems and Control被引用数 40

ひとこと要約

この論文は、2D境界ボックスを検出し、宇宙機の2Dキーポイントを回帰し、PnPで6D姿勢を解くコンパクトなCNNアーキテクチャを提案する。さらに、合成空間と実空間のギャップを埋めるテクスチャランダマイゼーションを導入する。

ABSTRACT

This work presents a novel Convolutional Neural Network (CNN) architecture and a training procedure to enable robust and accurate pose estimation of a noncooperative spacecraft. First, a new CNN architecture is introduced that has scored a fourth place in the recent Pose Estimation Challenge hosted by Stanford's Space Rendezvous Laboratory (SLAB) and the Advanced Concepts Team (ACT) of the European Space Agency (ESA). The proposed architecture first detects the object by regressing a 2D bounding box, then a separate network regresses the 2D locations of the known surface keypoints from an image of the target cropped around the detected Region-of-Interest (RoI). In a single-image pose estimation problem, the extracted 2D keypoints can be used in conjunction with corresponding 3D model coordinates to compute relative pose via the Perspective-n-Point (PnP) problem. These keypoint locations have known correspondences to those in the 3D model, since the CNN is trained to predict the corners in a pre-defined order, allowing for bypassing the computationally expensive feature matching processes. This work also introduces and explores the texture randomization to train a CNN for spaceborne applications. Specifically, Neural Style Transfer (NST) is applied to randomize the texture of the spacecraft in synthetically rendered images. It is shown that using the texture-randomized images of spacecraft for training improves the network's performance on spaceborne images without exposure to them during training. It is also shown that when using the texture-randomized spacecraft images during training, regressing 3D bounding box corners leads to better performance on spaceborne images than regressing surface keypoints, as NST inevitably distorts the spacecraft's geometric features to which the surface keypoints have closer relation.

研究の動機と目的

• 深層学習を用いた非協力的な宇宙機に対する堅牢な単眼姿勢推定を動機づける。
• 検出とキーポイントベースの姿勢推定を分離するコンパクトなアーキテクチャを提案し、リアルタイム推論を実現する。
• シミュレート空間と実空間間のドメインギャップを埋めるためのテクスチャランダマイゼーションを検討する。
• 照明、遮蔽、宇宙機間距離の変化に対する堅牢性を評価する。

提案手法

• YOLOv3を回分離可能なMobileNetv2と深さ方向の分離畳み込みで適用したODN（Object Detection Network）を用いて2D境界ボックスを検出する。
• 検出ボックス周囲のRoIを切り取り、11個の既定の3Dキーポイントを用いてYOLOv2に類似したKRN（Keypoints Regression Network）で2Dキーポイント位置を回帰する。
• 回復した3Dキーポイントと2Dキーポイントを用いてEPnPを解くことで6D姿勢を計算する。
• 頑健性を高めるために合成データで訓練し、シミュレーション空間と実空間のギャップを埋めるためにNeural Style Transferによるテクスチャランダマイゼーションを導入する。
• 必要に応じてワイヤフレームや訓練データから再投影ベースの最適化を通じて3Dキーポイントを復元する。
• IoU、平行移動誤差、回転誤差、そしてSLAB/ESA姿勢スコアを用いて性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 単一画像からのデテクション followed by キーポイント回帰というデカップルされたCNNベースのパイプラインは、リアルタイムで頑健な6D姿勢推定を実現できるか。
• RQ2 2Dキーポイント位置の回帰は、宇宙空間データにおける3D境界ボックスのコーナー回帰と比較してどうか。
• RQ3 NSTを用いたテクスチャランダマイゼーションはシミュレートデータから実空間の一般化を改善するか。
• RQ4 提案アーキテクチャの合成データと実空間データセットにおける精度と速度のトレードオフはどうなるか。

主な発見

• SPEED合成検証におけるODNのMean IoUは0.919。
• トップケースでの平行移動誤差E_Tは0.01–0.011 m未満、他ケースで約0.124–0.210 m、平均回転誤差E_Rは約3.1度。
• SPEED合成検証でのSLAB/ESAスコアは0.073で、第4位。
• ODNとKRNを用いた全パイプラインの推論はGPUで約70 FPS、CPUで約4 FPS。
• KRNの2Dキーポイント回帰（KRN-SK）または3Dボックスコーナー回帰（KRN-BB）は、距離3–30+ mおよび照明変化の範囲で頑健な性能を示し、ODNは worst case でも高いIoUを提供。
• テクスチャランダマイゼーション（PRISMA12K-TR）は宇宙空間での一般化を改善； best epoch時のTR=0と比較してPRISMA25でのSLAB/ESAスコアを最良の設定で低減。