[논문 리뷰] 6D Object Pose Estimation with Depth Images: A Seamless Approach for Robotic Interaction and Augmented Reality

David Joseph Tan, Nassir Navab외 1명|arXiv (Cornell University)|2017. 09. 05.

Robotics and Sensor-Based Localization참고 문헌 10인용 수 13

한 줄 요약

이 논문은 깊이 영상 기반으로 복잡한 환경에서의 6차원 물체 자세 추정을 위한 원활한 프레임워크를 제안한다. 이는 고정밀 물체 검출기와 낮은 지연 시간을 가진 시간적 추적기(랜덤 포레스트 기반)를 조합한 것으로, 단일 CPU 코어에서 1프레임당 2ms의 추적 지연 시간을 기록하며, 잡다한 배경, 부분적 가림, 다양한 조명 조건에서도 실시간 성능을 달성하여 로봇공학 및 증강현실 응용 분야에 적합하다. 검출 성능은 f1-스코어 99.3%를 기록하여 최신 기술 수준을 확립한다.

ABSTRACT

To determine the 3D orientation and 3D location of objects in the surroundings of a camera mounted on a robot or mobile device, we developed two powerful algorithms in object detection and temporal tracking that are combined seamlessly for robotic perception and interaction as well as Augmented Reality (AR). A separate evaluation of, respectively, the object detection and the temporal tracker demonstrates the important stride in research as well as the impact on industrial robotic applications and AR. When evaluated on a standard dataset, the detector produced the highest f1-score with a large margin while the tracker generated the best accuracy at a very low latency of approximately 2 ms per frame with one CPU core: both algorithms outperforming the state of the art. When combined, we achieve a powerful framework that is robust to handle multiple instances of the same object under occlusion and clutter while attaining real-time performance. Aiming at stepping beyond the simple scenarios used by current systems, often constrained by having a single object in absence of clutter, averting to touch the object to prevent close-range partial occlusion, selecting brightly colored objects to easily segment them individually or assuming that the object has simple geometric structure, we demonstrate the capacity to handle challenging cases under clutter, partial occlusion and varying lighting conditions with objects of different shapes and sizes.

연구 동기 및 목표

• 잡다한 배경, 부분적 가림, 다양한 조명 조건이 존재하는 복잡한 환경에서도 강력하고 실시간으로 6D 물체 자세 추정을 가능하게 하기 위해.
• 기존 시스템이 단일 물체, 비가림, 기하학적으로 단순한 시나리오에 의존하는 한계를 해결하기 위해.
• 지속적인 로봇 인식 및 상호작용을 위한 물체 검출과 시간적 추적을 조합한 이중 단계 프레임워크를 개발하기 위해.
• 낮은 계산 비용을 확보하고 소비자 수준의 깊이 센서 및 일반적인 CPU와의 호환성을 확보하기 위해.
• 산업용 로봇공학, 증강현실, 모바일 플랫폼에 실시간 성능과 낮은 메모리 사용량을 제공하여 실질적인 구현을 지원하기 위해.

제안 방법

• 물체 검출기는 깊이 영상에 대해 슬라이딩 윈도우 방식을 사용하며, 합성적으로 렌더링된 깊이 영상에 기반해 훈련된 랜덤 포레스트를 활용해 6D 자세(3D 이동 및 3D 회전)를 예측한다.
• 시간적 추적기는 랜덤 포레스트를 사용해 연속 프레임 간의 상대 6D 변환을 추정하며, 검출기의 출력 결과를 초기화 값으로 활용한다.
• 두 모델은 물체의 3D CAD 모델 주변에 가상 카메라를 위치시켜 생성된 합성 깊이 데이터를 기반으로 엔드 투 엔드로 훈련된다.
• 추적기는 RGB 및 깊이 영상을 모두 활용해 지터(jitter)를 감소시키고 증강현실 응용에서 정확도를 향상시키기 위해 최적화된다.
• 프레임워크는 CPU 전용 하드웨어에서도 효율적으로 작동하도록 설계되었으며, 단일 코어에서 약 2ms의 시간당 프레임 처리 지연을 기록한다.
• 메모리 사용량은 물체당 약 40.5MB로 최소화되어 자원 제약이 있는 플랫폼에의 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떤 도전적인 실세계 조건에서도 최신 기술 수준의 정확도와 실시간 성능을 달성하는 원활한 검출-추적 파이프라인은 가능한가?
• RQ2 기존 방법과 비교해 부분적 가림, 잡다한 배경, 다양한 조명 조건이 존재하는 상황에서 제안된 프레임워크는 어떤 성능을 보이는가?
• RQ3 GPU 가속을 사용하지 않고도 CPU 기반 시스템이 2ms 이내의 낮은 지연 시간 추적을 달성할 수 있는가?
• RQ4 복잡한 기하학적 형태나 작은 물체를 포함한 다양한 물체 형태와 크기 간에 프레임워크는 얼마나 일반화 가능한가?
• RQ5 추적기에서 RGB 및 깊이 데이터를 통합함으로써 증강현실 응용에서 자세 추정의 안정성 향상과 지터 감소는 어느 정도 이루어지는가?

주요 결과

• 제안된 검출기는 LineMod 데이터셋에서 f1-스코어 99.3%를 기록하여 이전 최신 기술 수준(예: 딥러닝 방법 기준 97.2%)을 크게 초월했으며, 가림과 잡다한 배경에 대한 강건성을 입증했다.
• 시간적 추적기는 이동성에 대해 마이크로미터 이내 정확도, 회전성에 대해 도 단위 정확도를 확보했으며, C&C 및 AR 벤치마크에서 비교된 모든 방법들 중에서 가장 낮은 오차를 기록했다.
• 단일 CPU 코어에서 1.4–2.2ms의 프레임당 지연 시간을 기록했으며, PCL(2786.0ms) 및 C&C(132.0ms)와 같은 GPU 기반 추적기보다 지연 시간에서 뛰어난 성능을 보였다.
• 8개의 CPU 코어를 사용해 최대 108개의 물체를 동시에 추적하면서도 30fps에서 실시간 성능을 유지했다.
• 물체당 40.5MB의 낮은 메모리 사용량을 확보해 저비용, 전력 제약이 있는 하드웨어에서의 효율적 배포를 가능하게 했다.
• 그림 1의 정성적 결과는 부분적 가림 및 다양한 조명 조건이 존재하는 상황에서도 단순한 형태에서 복잡한 형태에 이르기까지 다양한 물체에 대해 강력한 성능을 보여준다.