[논문 리뷰] 3D Visual Tracking Framework with Deep Learning for Asteroid Exploration

Dong Zhou, Gunaghui Sun외 1명|arXiv (Cornell University)|2021. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 7

한 줄 요약

이 논문은 딥러닝을 활용한 근접행성 탐사용 3D 시각 추적 프레임워크인 Track3D를 제안한다. 2D 단안 추적기와 A3BoxNet이라는 경량의 이형상 경계상자 네트워크를 결합하여 부분적인 점군으로부터 3D 축에 평행한 상자(3D axis-aligned boxes)를 추정함으로써, 77 FPS에서 0.669 AO³d의 최신 기술 수준의 3D 추적 성능를 달성하며, 2D 추적에 대한 강력한 일반화 능력도 입증한다.

ABSTRACT

3D visual tracking is significant to deep space exploration programs, which can guarantee spacecraft to flexibly approach the target. In this paper, we focus on the studied accurate and real-time method for 3D tracking. Considering the fact that there are almost no public dataset for this topic, A new large-scale 3D asteroid tracking dataset is presented, including binocular video sequences, depth maps, and point clouds of diverse asteroids with various shapes and textures. Benefitting from the power and convenience of simulation platform, all the 2D and 3D annotations are automatically generated. Meanwhile, we propose a deep-learning based 3D tracking framework, named as Track3D, which involves 2D monocular tracker and a novel light-weight amodal axis-aligned bounding-box network, A3BoxNet. The evaluation results demonstrate that Track3D achieves state-of-the-art 3D tracking performance in both accuracy and precision, comparing to a baseline algorithm. Moreover, our framework has great generalization ability to 2D monocular tracking performance.

연구 동기 및 목표

• 딥러닝 연구를 위한 대규모 공개 3D 소행성 추적 데이터셋의 부족을 해결한다.
• 복잡한 형태와 질감을 가진 소행성과 함께 태양계 외부 임무에 특화된 실시간 정확한 3D 시각 추적 시스템을 개발한다.
• 6-자유도 문제를 3-자유도 추적과 자세 추정으로 분해하여 중심과 크기 추정의 강건성을 높임으로써 3D 추적 성능을 향상시킨다.
• 2D-3D 융합을 통해 2D 단안 추적 성능을 향상시켜 다중 모odal 일반화의 이점을 입증한다.
• 소행성 환경에서의 2D 및 3D 추적을 위한 종합적인 평가 툴킷을 제공한다.

제안 방법

• 물리 엔진(V-REP)을 사용하여 대규모 3D 소행성 추적 데이터셋을 구축하여, 이중 카메라 영상 시퀀스, 깊이 맵, 점군을 시뮬레이션한다. 총 148,500개의 다양한 형태, 질감, 조명 조건을 가진 소행성 인스턴스를 포함한다.
• 시뮬레이션 플랫폼을 활용해 자동으로 2D 및 3D 애너테이션(경계상자, 중심점, 크기 레이블)을 생성하여 일관성과 확장성을 확보한다.
• Track3D를 이중 단계 프레임워크로 설계한다. 첫 번째 단계는 이미지 공간에서 객체의 외관과 운동을 추정하는 2D 단안 추적기이며, 두 번째 단계는 부분적인 점군 입력으로부터 3D 축에 평행한 경계상자를 추론하는 A3BoxNet이다.
• A3BoxNet을 경량의 이형상 감지 네트워크로 구현하여, 대상의 부분 점군에서 1,024개의 샘플링된 점들만을 사용해 3D 중심과 크기를 예측한다.
• 센터 회귀를 위한 Huber 손실과 크기 카테고리 분류를 위한 교차 엔트로피 손실을 조합한 복합 손실 함수를 사용하며, 잔차 예측을 통해 정확도를 향상시킨다.
• perspective 투영 원리를 활용해 내재 매개변수(초점거리, 해상도, 시야각)로부터 카메라 투영 행렬을 유도하여, 프루스트 제안 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 3D 시각 추적 프레임워크는 부분 관측이 있는 복잡한 소행성 환경에서 높은 정확도와 실시간 성능를 달성할 수 있는가?
• RQ2 2D-3D 융합을 통해 3D 추적 프레임워크는 2D 단안 추적 성능를 어느 정도 향상시킬 수 있는가?
• RQ3 경량의 이형상 경계상자 네트워크(A3BoxNet)는 부분 점군으로부터 3D 축에 평행한 상자를 얼마나 효과적으로 추정하는가?
• RQ4 제안된 3D 추적 프레임워크는 다양한 2D 추적 백본, 특히 약한 2D 추적기와의 조합에서 얼마나 잘 일반화되는가?
• RQ5 새로 구축된 대규모 다양성 있는 3D 소행성 추적 데이터셋에서 프레임워크의 성능는 어떠한가?

주요 결과

• Track3D는 77 FPS에서 0.669 AO³d(3D 평균 겹침율)의 3D 추적 성능를 달성하여 기준 방법보다 정확도와 속도 면에서 모두 뛰어나다.
• A3BoxNet 네트워크는 최대 281.5 FPS에서 0.712 AO³d 및 0.345 ACE³d(3D 평균 중심 오차)를 기록하여 부분 점군에서의 높은 효율성과 강건성을 입증한다.
• 2D-3D 융합을 통해 약한 2D 추적기 조차도 2D 단안 추적 성능를 크게 향상시키며, 이는 강력한 일반화 능력을 시사한다.
• 148,500개의 애너테이션 시퀀스를 포함한 제안된 3D 소행성 추적 데이터셋은 이 작업을 위한 첫 번째 대규모 공개 벤치마크이다.
• 제거 분석 결과, 잔차 예측과 크기 카테고리 분류를 포함한 복합 손실 함수가 중심 및 크기 추정 정확도를 모두 향상시킨다.
• 시야각과 해상도로부터 유도된 카메라 매트릭스는 2D 관측에서의 3D 검출에 필수적인 정확한 프루스트 제안 생성을 가능하게 한다.