[論文レビュー] 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration

Dong Zhou, Gunaghui Sun+1 more|arXiv (Cornell University)|Nov 21, 2021

Video Surveillance and Tracking Methods参考文献 49被引用数 7

ひとこと要約

本論文は、深層学習を用いたアステロイド探査を目的とした、新しい3次元視覚追跡フレームワーク「Track3D」を提案する。2次元単眼トラッカーと、部分点群から3次元軸直交ボクシングボックスを推定する軽量なアモーダルバウンディングボックスネットワークであるA3BoxNetを組み合わせ、77 FPSで0.669 AO³dという最先端の3次元追跡性能を達成し、2次元追跡への強い汎化能力を示した。

ABSTRACT

3D visual tracking is significant to deep space exploration programs, which can guarantee spacecraft to flexibly approach the target. In this paper, we focus on the studied accurate and real-time method for 3D tracking. Considering the fact that there are almost no public dataset for this topic, A new large-scale 3D asteroid tracking dataset is presented, including binocular video sequences, depth maps, and point clouds of diverse asteroids with various shapes and textures. Benefitting from the power and convenience of simulation platform, all the 2D and 3D annotations are automatically generated. Meanwhile, we propose a deep-learning based 3D tracking framework, named as Track3D, which involves 2D monocular tracker and a novel light-weight amodal axis-aligned bounding-box network, A3BoxNet. The evaluation results demonstrate that Track3D achieves state-of-the-art 3D tracking performance in both accuracy and precision, comparing to a baseline algorithm. Moreover, our framework has great generalization ability to 2D monocular tracking performance.

研究の動機と目的

• 深層学習研究のための、大規模かつ公開可能な3次元アステロイド追跡データセットの不足に対処する。
• 複雑な形状とテクスチャを有するアステロイドを伴う深宇宙ミッションに特化した、リアルタイムかつ高精度な3次元視覚追跡システムを開発する。
• 6自由度問題を3自由度の追跡とポーズ推定に分解することで、3次元追跡性能を向上させ、特に中心位置とサイズ推定の強靭性を高める。
• 2次元-3次元統合による2次元単眼追跡性能の向上を実現し、クロスモーダルな汎化効果の有効性を示す。
• アステロイドシナリオにおける2次元および3次元追跡の包括的評価ツールキットを提供する。

提案手法

• 物理エンジン（V-REP）を用いて大規模な3次元アステロイド追跡データセットを構築し、148,500体の多様な形状・テクスチャ・照明条件を持つアステロイドインスタンスのステレオ動画シーケンス、深度マップ、点群をシミュレートする。
• シミュレーションプラットフォームを用いて自動的に2次元および3次元のアノテーション（バウンディングボックス、中心点、サイズラベル）を生成し、一貫性とスケーラビリティを確保する。
• 2段階フレームワークであるTrack3Dを設計：まず、2次元単眼トラッカーが画像空間における物体の外観と運動を推定する。次に、A3BoxNetが部分点群入力から3次元軸直交バウンディングボックスを推定する。
• A3BoxNetを、ターゲットの部分点群から1,024点のみを入力として用いる軽量で、アモーダル検出ネットワークとして実装する。
• 中心位置回帰のためのHuber損失とサイズカテゴリ分類のための交差エントロピー損失を統合したジョイント損失関数を採用し、推定精度を向上させるために残差予測を導入する。
• 透視投影の原則に従い、焦点距離、解像度、視野角といった内部パrameterからカメラ投影行列を導出し、フリスツム候補生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの3次元視覚追跡フレームワークは、部分観測が生じる複雑なアステロイド環境において、高い精度とリアルタイム性能を達成できるか？
• RQ2 2次元-3次元統合による3次元追跡フレームワークは、2次元単眼追跡性能をどの程度向上できるか？
• RQ3 軽量なアモーダルバウンディングボックスネットワーク（A3BoxNet）は、部分点群から3次元軸直交ボックスをどの程度効果的に推定できるか？
• RQ4 提案された3次元追跡フレームワークは、2次元追跡バックボーンに依存せず、特に2次元トラッカーが弱い場合でも、どの程度汎化性能を示すか？
• RQ5 新たに構築された大規模かつ多様な3次元アステロイド追跡データセット上で、このフレームワークの性能はどの程度か？

主な発見

• Track3Dは77 FPSで0.669 AO³d（3次元平均オーバーラップ）という3次元追跡性能を達成し、ベースライン手法を上回る精度と速度を実現した。
• A3BoxNetネットワークは最大281.5 FPSで0.712 AO³dおよび0.345 ACE³d（3次元平均中心誤差）を達成し、部分点群において高い効率性と頑健性を示した。
• 2次元-3次元統合を用いることで、劣悪な2次元トラッカーでさえも2次元単眼追跡性能が顕著に向上し、強力な汎化能力を示した。
• 148,500のアノテート済みシーケンスを含む、多様なアステロイドタイプをカバーする本提案の3次元アステロイド追跡データセットは、このタスクにおける最初の大規模公開ベンチマークである。
• アブレーションスタディにより、残差予測とサイズカテゴリ分類を統合したジョイント損失関数が、中心位置およびサイズ推定の両方の精度を向上させることを確認した。
• 視野角と解像度から導出したカメラ行列により、2次元観測からの3次元検出に不可欠な正確なフリスツム候補生成が可能になった。