[논문 리뷰] A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition

Roozbeh Mottaghi, Xiang Yu외 1명|arXiv (Cornell University)|2015. 04. 10.

Advanced Neural Network Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 계층적 세분성의 특성을 활용하여 파rameter 폭발을 줄이고 성능을 향상시키기 위해 3D 자세 추정, 객체 검출, 하위 카테고리 인식을 동시에 수행하는 코arse-to-fine 계층적 모델을 제안한다. 이 방법은 이산 및 연속 변수를 포함하는 하이브리드 랜덤 필드를 사용하며, 입자 기반 추론을 통해 훈련되며, 평탄한 모델과 이산 분류기 대비 상당한 성능 향상을 보이며, 특히 마스크 정렬을 향상시키는 연속적인 시점 추정을 통해 최대 23% 향상된 성능을 기록한다.

ABSTRACT

Despite the fact that object detection, 3D pose estimation, and sub-category recognition are highly correlated tasks, they are usually addressed independently from each other because of the huge space of parameters. To jointly model all of these tasks, we propose a coarse-to-fine hierarchical representation, where each level of the hierarchy represents objects at a different level of granularity. The hierarchical representation prevents performance loss, which is often caused by the increase in the number of parameters (as we consider more tasks to model), and the joint modelling enables resolving ambiguities that exist in independent modelling of these tasks. We augment PASCAL3D+ dataset with annotations for these tasks and show that our hierarchical model is effective in joint modelling of object detection, 3D pose estimation, and sub-category recognition.

연구 동기 및 목표

• 객체 검출, 3D 자세 추정, 하위 카테고리 인식을 동시에 모델링하는 데 도전하는 것. 이 세 가지 작업은 상호 연관되어 있으나 일반적으로 별도로 다뤄진다.
• 복잡도가 증가함에 따라 다중 작업을 동시에 모델링할 경우 발생하는 성능 저하 문제를 완화하는 것.
• 거시적 및 미세한 물체 표현 간의 계층적 관계를 활용하여 자세 및 하위 카테고리 추정의 모호함을 해결하는 것.
• 이산적 시점 버킷에 의존하는 것 대신 연속적인 3D 시점 추정을 통해 정답 객체 마스크와의 정렬을 향상시키는 것.
• 평가를 위해 하위 카테고리 및 더 세분화된 하위 카테고리 레이블을 추가한 PASCAL3D+ 데이터셋을 확장하는 것.

제안 방법

• 각 수준에서 세분성의 정도가 증가하는 코어스-투-파인 계층적 표현을 사용하여, 고수준 카테고리와 이산적 시점에서부터 더 세밀한 하위 카테고리 및 연속적인 3D 자세 파라미터에 이르기까지 표현한다.
• 이산 변수(예: 하위 카테고리)와 연속 변수(예: 아즈임스, 엘레베이션, 거리)를 동시에 모델링하기 위해 하이브리드 랜덤 필드 구조를 사용하여 통합된 프레임워크를 구축한다.
• 연속 및 이산 랜덤 변수의 혼합을 다루기 위해 연속적인 추론에 입자 기반 추론을 적용한다.
• 확장된 PASCAL3D+ 데이터셋(새로운 하위 카테고리 레이블 포함)을 기반으로 모든 계층 수준의 파rameter를 단일 판별적 학습 접근법을 통해 공동으로 훈련한다.
• 단일 통합 프레임워크 내에서 객체 위치, 연속적인 3D 자세, 하위 카테고리, 더 세밀한 하위 카테고리에 대한 공동 추론을 수행한다.
• 연속적인 시점 추정은 CAD 마스크를 투영한 결과와 정답 세그멘테이션 마스크 간의 교차율(IoU)을 사용하여 평가하며, 두 가지 평가 설정(마스크 정렬 및 2D 세그멘테이션)을 제공한다.

실험 결과

연구 질문

• RQ1 코어스-투-파인 계층적 모델은 모델 복잡도 증가로 인한 성능 저하를 피하면서도 3D 자세 추정, 객체 검출, 하위 카테고리 인식을 효과적으로 통합할 수 있는가?
• RQ2 계층적 수준 간의 공동 모델링은 독립적 모델링 대비 자세 및 하위 카테고리 추정의 불확실성을 줄이고 정확도를 향상시키는가?
• RQ3 마스크 정렬 정확도 측면에서 연속적인 3D 시점 추정은 이산적 시점 분류에 비해 어떻게 성능을 냈는가?
• RQ4 희귀하거나 모호한 물체 카테고리에서 계층적 구조는 성능 향상에 얼마나 기여하는가?
• RQ5 동일한 특징 세트를 사용할 때, 제안된 방법은 평탄한 모델이나 별도의 분류기보다 더 나은 성능을 내는가?

주요 결과

• 3층 계층적 모델은 동일한 특징를 사용하는 평탄한 모델 대비 'All' 작업(공동 검출, 자세, 하위 카테고리)에서 23% 향상된 성능을 기록한다.
• 계층적 모델은 특히 하위 카테고리 인식과 연속적인 시점 추정에서 평탄한 모델을 크게 능가하며, 16개의 이산 아즈임스 시점에서 15.2%의 AVP를 기록한다.
• 2D 세그멘테이션 마스크 평가에서 연속적 시점 추정은 이산 버전 대비 IoU를 10.2% 향상시켜 실제 물체 형태와의 정렬 정확도 향상을 입증한다.
• 복잡도 증가 상황에서도 성능을 유지하거나 향상시키며, 계층적 파rameter 공유가 성능 저하를 방지함을 보여준다.
• 자동차 하위 카테고리의 혼동 행렬은 주로 우세한 클래스(Sedan)에서 강력한 성능을 보이며, 높은 AVP 값을 기록하여 우세한 패tern을 효과적으로 학습한 것으로 나타난다.
• 자동차 카테고리에서 아즈임스의 RMSE는 73.16°, 엘레베이션은 6.59°, 거리는 11.25로 연속 자세 추정 정확도가 매우 우수하다.