[논문 리뷰] Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview

Zhaoxin Fan, Yazhi Zhu외 4명|arXiv (Cornell University)|2021. 05. 29.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 RGB/RGBD 입력을 활용한 인스턴스 수준 및 카테고리 수준 작업을 중심으로, 딥러닝 기반 단안 객체 자세 검출 및 추적에 대한 종합적인 리뷰를 제공한다. 최신 기법, 평가 지표, 데이터셋 및 성능 비교를 상세히 기술하며, 특히 로봇공학 및 증강현실과 같은 실세계 응용 분야에서의 6자리 자세 추정에 있어 핵심 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Object pose detection and tracking has recently attracted increasing attention due to its wide applications in many areas, such as autonomous driving, robotics, and augmented reality. Among methods for object pose detection and tracking, deep learning is the most promising one that has shown better performance than others. However, survey study about the latest development of deep learning-based methods is lacking. Therefore, this study presents a comprehensive review of recent progress in object pose detection and tracking that belongs to the deep learning technical route. To achieve a more thorough introduction, the scope of this study is limited to methods taking monocular RGB/RGBD data as input and covering three kinds of major tasks: instance-level monocular object pose detection, category-level monocular object pose detection, and monocular object pose tracking. In our work, metrics, datasets, and methods of both detection and tracking are presented in detail. Comparative results of current state-of-the-art methods on several publicly available datasets are also presented, together with insightful observations and inspiring future research directions.

연구 동기 및 목표

• RGB/RGBD 입력에만 국한하여, 딥러닝 기반 단안 객체 자세 검출 및 추적에 대한 상세하고 최신의 리뷰를 제공하는 것.
• 인스턴스 수준 및 카테고리 수준의 단안 객체 자세 검출 및 추적에 대한 작업 정의를 명확히 하고, 입력, 출력 및 기술적 범위를 정의하는 것.
• 표준화된 평가 지표를 사용하여 여러 공개 데이터셋에서 최신 기법들을 체계적으로 비교하여 성능 추세와 한계를 부각하는 것.
• 현재 접근 방식의 핵심 과제, 예를 들어 단안 이미지에서의 깊이 추정, CAD 렌더링의 비효율성, 추적 시 누적 오차 및 드리프트 문제를 규명하는 것.
• 향후 연구 방향으로, 완전한 9도 자유도 추적, 미분 가능한 렌더링, 마커 없는 고내부클래스변동성 데이터셋을 제안하는 것.

제안 방법

• 본 연구는 단안 6자리 객체 자세 검출 및 추적 기법에 대한 체계적인 분류 체계를 수립하여, 입력 모odal(_RGB/RGBD_), 작업 유형(인스턴스 수준 대비 카테고리 수준), 출력 형식(6자리 또는 9자리 자세)에 따라 분류한다.
• 표준 평가 지표(예: 회전 오차 및 이동 오차, 예를 들어 평균 회전 오차 및 평균 이동 오차)를 사용하여 기법을 평가하고, YCB, LINEMOD, NOCS 등의 벤치마크 데이터셋에서 정량적 결과를 보고한다.
• 2D 객체 검출 파이프라인과 3D 자세 예측의 통합을 분석하며, 훈련 시 보조 정보로 CAD 모델을 활용하고 렌더링을 수행한다.
• 추적에 있어서는 순환 신경망(LSTM 등)을 활용해 다중 프레임 간 시간적 의존성을 활용하고, 오차 누적과 드리프트를 줄이는 방법을 고려한다.
• 특히 실세계 깊이 지도가 없는 환경에서 훈련 효율성 향상과 엔드 투 엔드 학습을 위해, 미분 가능한 렌더링 기법의 역할을 평가한다.
• 향후 연구로는 NeRF 기반의 시(scene) 표현과 오픈소스 마커 없는 9도 자유도 애너테이션 도구의 개발을 주장하여 일반화 능력과 실세계 적용 가능성을 향상시키는 데 기여한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 기법을 사용할 때, 인스턴스 수준과 카테고리 수준의 단안 객체 자세 검출 간 핵심 기술적 차이점과 성능 상충 관계는 무엇인가?
• RQ2 스테레오 또는 깊이 센서가 없는 환경에서 현재의 딥러닝 기반 기법은 단안 깊이 추정 및 3D 재구성 문제를 어떻게 다루고 있는가?
• RQ3 기존의 단안 객체 자세 추적 기법의 주요 한계는 무엇인가? 특히 오차 누적, 드리프트 및 오직 두 프레임(현재 및 이전)에 의존하는 문제점에 대해 설명하라.
• RQ4 현재의 데이터셋 및 애너테이션 방식(예: 마커 기반 참값 사용)이 일반화 능력에 영향을 미치며, 실세계 적용에 제약을 주는 정도는 어느 정도인가?
• RQ5 CAD 모델 없이도 강건한, 완전한 9도 자유도(회전, 이동, 크기) 카테고리 수준의 객체 자세 추적을 달성하기 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 제어된 조건 하에서 LINEMOD 및 YCB와 같은 표준 벤치마크에서 최신 기법들은 평균 회전 오차가 5° 이하, 평균 이동 오차가 5cm 이하의 성능을 달성한다.
• 카테고리 수준 검출 기법은 동일 카테고리 내 객체 인스턴스 간 강력한 일반화 능력을 보이지만, 높은 내부클래스변동성을 보이는 새로운 인스턴스에서는 성능이 크게 떨어진다.
• 현재 및 이전 프레임 두 장만을 사용하는 추적 기법은 장기적인 시퀀스에서 누적 오차와 드리프트로 인해 성능이 크게 떨어지며, 이로 인해 안정성이 떨어진다.
• LSTM과 같은 순환 네트워크를 사용하면 다중 프레임 컨텍스트를 보다 효과적으로 활용하여 추적의 안정성과 시간적 일관성을 향상시키며, 드리프트 감소와 부드러운 추적을 가능하게 한다.
• 비미분 가능하거나 비효율적인 CAD 렌더러에 의존하는 현재의 기법들은 높은 훈련 비용을 유발하며, 특히 엔드 투 엔드 학습을 위한 핵심 기반으로서 미분 가능한 렌더링이 중요하다는 것이 규명되었다.
• 현재까지 유일하게 완전한 9도 자유도 카테고리 수준 추적을 달성한 기법은 (Wang 등, 2020b) 뿐이며, 이는 증강현실과 같은 자세 및 크기 인식이 필요한 응용 분야에서 분야 내 주요 격차를 보여준다.