[논문 리뷰] Monocular Object Orientation Estimation using Riemannian Regression and Classification Networks

Siddharth Mahendran, Ming Y. Lu외 2명|arXiv (Cornell University)|2018. 07. 18.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 회전 공간의 리만 기하학을 기하적 손실 함수와 축-각/쿼터니언 표현을 통해 활용하는 새로운 CNN 기반의 단안 3D 객체 방향 추정 방법을 제안한다. 이는 정규화 회귀와 분류를 통합하여 정확도를 향상시키며, 검출된 바운딩 박스를 사용하여 PASCAL3D+에서 AVP 평가 지표 하에 중앙 오차 27.5°를 기록하여 최신 기술 수준을 달성한다.

ABSTRACT

We consider the task of estimating the 3D orientation of an object of known category given an image of the object and a bounding box around it. Recently, CNN-based regression and classification methods have shown significant performance improvements for this task. This paper proposes a new CNN-based approach to monocular orientation estimation that advances the state of the art in four different directions. First, we take into account the Riemannian structure of the orientation space when designing regression losses and nonlinear activation functions. Second, we propose a mixed Riemannian regression and classification framework that better handles the challenging case of nearly symmetric objects. Third, we propose a data augmentation strategy that is specifically designed to capture changes in 3D orientation. Fourth, our approach leads to state-of-the-art results on the PASCAL3D+ dataset.

연구 동기 및 목표

• 기존의 단안 3D 방향 추정 방법이 회전 공간의 리만 기하학적 구조를 忽시하는 한계를 해결하기 위해.
• 대칭적이고 도전적인 객체 카테고리에서 기하학적으로 일관된 프레임워크 내에서 회귀와 분류를 결합하여 성능을 향상시키기 위해.
• 기존의 2D 이미지 왜곡을 넘어서 실제 3D 방향 변화를 반영하는 3D 인식 데이터 증강 전략을 설계하기 위해.
• SO(3)에서 기하적 거리 기반의 손실 함수를 개발하여 실제 회전 공간의 기하학을 더 잘 반영하기 위해.
• 표준 평가 프로토콜 하에서 PASCAL3D+ 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 네트워크 출력으로 축-각 또는 쿼터니언 표현을 사용하여 회전 공간의 내재 기하학을 유지한다.
• 회전의 다양체를 따라 측정하는 기하적 거리 기반의 손실 함수를 도입하여 유클리드 또는 이진화된 손실 함수를 대체한다.
• 대칭 객체를 다룰 수 있도록 다중 방향 가설과 신뢰도 점수를 예측하는 혼합 리만 기하학적 회귀 및 분류 프레임워크를 제안한다.
• 학습 중에 실제 3D 방향 변화를 시뮬레이션할 수 있는 새로운 3D 인식 데이터 증강 전략을 설계하여 일반화 능력을 향상시킨다.
• 기하적 회귀와 분류 성분을 통합한 복합 손실 함수를 사용해 네트워크 아키텍처를 엔드 투 엔드로 훈련한다.
• 실제 적용 가능성을 확보하기 위해 객체 검출기에서 추출한 바운딩 박스를 사용하여 AVP (평균 mAP) 지표 하에 평가한다.

실험 결과

연구 질문

• RQ1 회전 공간의 리만 기하학은 딥러닝을 통해 3D 방향 추정에 어떻게 효과적으로 통합될 수 있는가?
• RQ2 순수한 회귀 또는 분류와 비교해 복합 회귀-분류 프레임워크는 대칭 객체에서 성능을 향상시킬 수 있는가?
• RQ3 3D 인식 데이터 증강 전략은 방향 추정의 일반화 능력과 강건성 향상에 기여하는가?
• RQ4 기하적 거리 기반의 손실 함수는 이 작업에서 표준 유클리드 또는 교차 엔트로피 손실 함수를 능가할 수 있는가?
• RQ5 제안된 방법은 실제 검출 설정 하에서 표준 벤치마크인 PASCAL3D+에서 어떤 성능 향상을 보이는가?

주요 결과

• 검출된 바운딩 박스를 사용하여 PASCAL3D+ 데이터셋에서 중앙 오차 27.5°를 기록하며, 이는 이전 최신 기술 수준의 방법들을 초월한다.
• 4개의 박스에서 AVP(평균 mAP)는 49.9%, 8개의 박스에서 42.5%, 16개의 박스에서 32.0%, 24개의 박스에서 26.3%를 기록하여 모든 박스 수준에서 뛰어난 성능을 보였다.
• 아즈임스 각도에 대한 어떤 지도 학습도 사용하지 않음에도 불구하고, V&K, R4CNN, Massa와 비교해 AVP에서 뚜렷한 우월성을 보였다. 특히 높은 박스 수에서 두드러진 성능 향상을 보였다.
• 기하적 손실과 리만 표현을 사용함으로써, 유클리드 거리나 올리고르각을 사용하는 방법보다 더 정확하고 기하학적으로 일관된 방향 예측이 가능했다.
• 혼합 회귀-분류 프레임워크는 다중 방향 가설과 신뢰도 점수를 예측함으로써 대칭 객체에서의 오차를 줄여 효과적으로 처리하였다.
• 3D 인식 데이터 증강 전략은 모든 객체 카테고리에서 일관된 성능 향상을 보이며 일반화 능력 향상에 기여했다.