[논문 리뷰] Instant 3D Object Tracking with Applications in Augmented Reality

Adel Ahmadyan, Tingbo Hou외 4명|arXiv (Cornell University)|2020. 06. 23.

Robotics and Sensor-Based Localization참고 문헌 13인용 수 9

한 줄 요약

이 논문은 단일 스테이지 CNN을 사용하여 실시간으로 보정이 필요 없는 3D 객체 추적을 수행하는 모바일 AR 응용을 위한 실시간, 캘리브레이션 불필요 3D 객체 추적 시스템을 제안한다. 이 시스템은 실시간으로 객체의 3D 경계 상자(바운딩 박스)를 검출하고 추정한 후, 추적 주기를 최소화하면서 위치, 방향, 스케일을 포함한 9-DoF 자세 추적을 유지하기 위해 평면 추적기를 사용한다. 시스템은 GPU에 검출 기능을 효율적으로 이관하고 CPU에 추적 기능을 할당하여 스마트폰에서 26+ FPS의 성능을 달성한다. 이로 인해 사전 캘리브레이션 또는 객체 모델이 없이도 즉각적이고 강력하며 효율적인 추적 기능을 제공한다.

ABSTRACT

Tracking object poses in 3D is a crucial building block for Augmented Reality applications. We propose an instant motion tracking system that tracks an object's pose in space (represented by its 3D bounding box) in real-time on mobile devices. Our system does not require any prior sensory calibration or initialization to function. We employ a deep neural network to detect objects and estimate their initial 3D pose. Then the estimated pose is tracked using a robust planar tracker. Our tracker is capable of performing relative-scale 9-DoF tracking in real-time on mobile devices. By combining use of CPU and GPU efficiently, we achieve 26-FPS+ performance on mobile devices.

연구 동기 및 목표

• 사전 캘리브레이션 또는 객체 전용 모델이 필요 없이 모바일 기기에서 실시간으로 즉각적인 3D 객체 추적을 가능하게 하기 위해.
• 딥 러닝 검출 노이즈로 인한 3D 자세 추정의 진동을 줄이기 위해 검출-추적 프레임워크를 통해 해결하기 위해.
• RGB 입력과 표준 모바일 하드웨어만을 사용하여 강력한 9-DoF(위치, 방향, 스케일) 추적을 달성하기 위해.
• 실제 AR 응용 프로그램에 적합한 효율적이고 저지연인 시스템을 개발하기 위해.
• CAD 모델이나 형상 레이블 없이도 새로운, 카테고리 수준의 객체를 추적할 수 있도록 하기 위해.

제안 방법

• MobileNetV2 백본을 사용하는 단일 스테이지 CNN이 단일 RGB 이미지에서 검출, 세그멘테이션, 3D 경계 상자 회귀를 동시에 수행한다.
• 네트워크는 3D 경계 상자의 8개 꼭짓점의 2D 투영을 예측하고, EPnP를 사용하여 스케일까지의 전체 3D 자세를 복원한다.
• 시스템은 3D 꼭짓점과 중심을 2D로 투영하여 추적을 초기화하고, 9개의 키 포인트를 강력한 6-DoF 평면 추적기를 사용하여 추적한다.
• 추적기는 CPU에서 실행되며 시간적 일관성을 유지하여 진동을 줄이고, 검출기는 몇 프레임에 한 번씩만 실행된다.
• 추적된 2D 포인트를 사용하여 EPnP를 통해 자세 추정을 업데이트함으로써, 이후 프레임에서 상대 스케일 기반의 9-DoF 추적을 가능하게 한다.
• 검출 및 추적 결과는 IoU 겹침 기반 융합을 통해 정확성과 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 시스템이 사전 캘리브레이션 또는 객체 모델이 없이도 모바일 기기에서 실시간 3D 객체 추적을 수행할 수 있는가?
• RQ2 3D 자세 추정에서 발생하는 검출 노이즈로 인한 진동을 줄이기 위해 어떤 방법이 효과적인가?
• RQ3 모바일 하드웨어에서 희박한 CNN 추론 주기와 함께 평면 추적기가 효과적으로 9-DoF 자세 추적을 유지할 수 있는가?
• RQ4 CAD 모델이 없이도 시스템이 새로운, 카테고리 수준의 객체에 대해 얼마나 강력하게 작동하는가?
• RQ5 모바일 최적화된 종단 간 3D 추적 파이프라인에서 정확성과 효율성 간의 성능 트레이드오프는 어느 정도인가?

주요 결과

• 검출은 스마트폰 GPU에서 26.5 FPS, 추적은 CPU에서 30+ FPS를 기록하여, 스냅드래곤 865를 탑재한 삼성 S20와 같은 기기에서도 실시간 성능을 달성한다.
• 3D 객체 검출기는 0.59의 평균 정밀도를 확보하였으며, 모델 크기는 단지 5.54MB이다.
• 검출-추적 프레임워크는 IoU 기반 융합을 통해 검출 및 추적 결과를 통합함으로써 진동을 감소시키고 시간적 일관성을 향상시킨다.
• 시스템은 복잡한 초기화 절차나 파라렐랙스 유도 운동이 필요 없이 저지연, 즉각적인 추적 기능을 제공한다.
• 객체가 평면 표면에 머무르고 있으며 심한 굴림이나 방향 불확실성이 발생하지 않는 조건에서는 추적기가 강력하게 작동한다.
• 사전 형상 또는 CAD 모델 지식 없이도 새로운 객체를 성공적으로 추적하여 카테고리 수준의 일반화 능력을 입증하였다.