[논문 리뷰] 3D Pose Estimation for Fine-Grained Object Categories

Yaming Wang, Xiao Tan외 5명|arXiv (Cornell University)|2018. 06. 12.

Robotics and Sensor-Based Localization참고 문헌 24인용 수 5

한 줄 요약

이 논문은 세부적인 물체 카테고리(StanfordCars 및 CompCars)를 위한 대규모 3D 자세 추정 데이터셋을 소개하며, 상세한 3D CAD 모델과 2D-3D 자세 애너테이션을 제공한다. 또한 합성 데이터를 활용하여 도메인 갭 문제를 완화하고 关键점 감독 없이도 최신 기술 수준의 성능을 달성하는 데 기여하는, 밀도 높은 3D 위치 필드를 통합한 엔드 투 엔드 Faster/Mask R-CNN 프레임워크를 제안한다.

ABSTRACT

Existing object pose estimation datasets are related to generic object types and there is so far no dataset for fine-grained object categories. In this work, we introduce a new large dataset to benchmark pose estimation for fine-grained objects, thanks to the availability of both 2D and 3D fine-grained data recently. Specifically, we augment two popular fine-grained recognition datasets (StanfordCars and CompCars) by finding a fine-grained 3D CAD model for each sub-category and manually annotating each object in images with 3D pose. We show that, with enough training data, a full perspective model with continuous parameters can be estimated using 2D appearance information alone. We achieve this via a framework based on Faster/Mask R-CNN. This goes beyond previous works on category-level pose estimation, which only estimate discrete/continuous viewpoint angles or recover rotation matrices often with the help of key points. Furthermore, with fine-grained 3D models available, we incorporate a dense 3D representation named as location field into the CNN-based pose estimation framework to further improve the performance. The new dataset is available at www.umiacs.umd.edu/~wym/3dpose.html

연구 동기 및 목표

• 자동차 브랜드 및 모델과 같은 세부적인 물체 카테고리에 대해 대규모이고 세부적인 3D 자세 데이터셋이 부족한 문제를 해결하기 위해.
• 2D/3D 관건 감독 없이도 단일 RGB 이미지에서 완전한 3D 시점 자세 추정을 가능하게 하기 위해.
• 엔드 투 엔드 딥러닝 프레임워크에 밀도 높은 3D 표현(3D 위치 필드)을 통합하여 자세 추정 정확도를 향상시키기 위해.
• 세부적인 3D CAD 모델에서 생성한 합성 데이터를 활용하여 데이터 부족 문제와 도메인 갭 문제를 해결하기 위해.
• 고품질의 카테고리 전용 3D 모델과 애너테이션된 자세를 기반으로 세부적인 3D 자세 추정에 대한 벤치마크를 수립하기 위해.

제안 방법

• 저자들은 StanfordCars 및 CompCars 데이터셋에 세부적인 3D CAD 모델을 추가하고, 각 이미지에 대해 수작업으로 3D 자세 파라미터를 애너테이션하여 총 309개 카테고리에 걸쳐 20,000개 이상의 이미지를 확보하였다.
• 객체 검출과 3D 자세 파라미터를 동시에 회귀하기 위해, Faster/Mask R-CNN에 계층적 검출 및 자세 추정 헤드를 확장하였다.
• 새로운 3D 위치 필드 표현 방식을 도입하여, 각 픽셀을 물체 표면 상의 3D 좌표로 매핑함으로써, 밀도 높은 3D 형상 감독을 가능하게 하였다.
• 실제 이미지 데이터를 사용하여 위치 필드를 엔드 투 엔드로 회귀하고, 회귀된 필드에서 쿼aternion 기반의 회귀 헤드를 통해 자세를 예측하였다.
• 3D CAD 모델에서 생성한 합성 데이터를 사용하여 위치 필드 네트워크를 사전 학습함으로써 도메인 갭을 최소화하고 일반화 성능을 향상시켰다.
• 실제 데이터에서 프레임워크를 미세조정하였으며, 데이터 부족 문제를 완화하기 위해 StanfordCars에서 CompCars로 전이 학습을 적용하였다.

실험 결과

연구 질문

• RQ1 2D/3D 관건 감독 없이도 단일 RGB 이미지에서 완전한 3D 시점 자세 추정이 가능할 수 있는가?
• RQ2 엔드 투 엔드 딥러닝 프레임워크 내에서 밀도 높은 3D 표현(3D 위치 필드)이 3D 자세 추정 정확도 향상에 얼마나 효과적인가?
• RQ3 세부적인 3D CAD 모델에서 생성한 합성 데이터가 실제 이미지에서의 성능 향상과 도메인 갭 감소에 얼마나 기여하는가?
• RQ4 더 큰 규모이자 더 세부적인 데이터셋(SanfordCars)에서 학습한 모델이 더 작은 규모이자 덜 세부적인 데이터셋(CompCars)에서 성능 향상에 기여하는가?
• RQ5 일반적인 다양한 세부적인 카테고리(다양한 자세, 스케일, 시점)에 대해 단일 모델이 일반화 가능한가?

주요 결과

• StanfordCars 3D 데이터셋에서, 이 방법은 중앙값 회전 오차 5.68°와 중앙값 ADD 오차 0.0834를 기록하여 기준 모델 대비 정확도가 15% 향상되었다.
• CompCars 3D 데이터셋에서, StanfordCars 사전 학습 모델에서 미세조정한 결과, 중앙값 회전 오차 4.74°와 중앙값 ADD 오차 0.0836을 기록하여 뛰어난 전이 성능를 입증하였다.
• 3D 위치 필드의 통합으로 StanfordCars에서 $Acc_{rac{ au}{6}}$가 2.2% 향상되었고, CompCars에서는 4.6% 향상되어 형상 감독의 효과를 입증하였다.
• 3D 위치 필드를 사용하여 미세조정한 결과, CompCars에서 $Acc_{ ext{th}=0.1}$가 64.01%에 도달하여 기준 모델(32.52%)을 크게 능가하였으며, 자세 변형에 대한 강건성도 입증되었다.
• 실패 사례는 주로 스케일 추정 오차, 큰 시점 왜곡, 훈련 예제가 부족한 희귀 자세에서 기인하며, 이 분야에서 향후 개선 여지가 있음을 시사한다.
• 제거 분석 결과, 위치 필드를 활용한 합성 데이터 사전 학습이 일반화 성능 향상에 크게 기여하며, 특히 데이터가 적은 환경에서 두드러진다.