[논문 리뷰] Car Segmentation and Pose Estimation using 3D Object Models

Siddharth Mahendran, Renè Vidal|arXiv (Cornell University)|2015. 12. 21.

Advanced Neural Network Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 3D 객체 모델을 사용하여 2D 이미지 세분화와 3D 자동차 자세 추정을 동시에 향상시키는 프레임워크를 제안한다. 3D 형태와 부피 일관성 기반의 새로운 상향식 잠재변수를 도입하여, 그래프 컷과 분기 및 경계 최적화를 통해 효율적인 추론이 가능한 표준 CRF 항목으로 분해한다. 세분화를 사전으로 사용할 때나 그 반대로 자세 추정을 사전으로 사용할 때 모두 자세 추정 성능이 향상되며, 복합 학습을 통해 VOC2011에서 22.29%의 방향성 탐지 정확도를 달성한다.

ABSTRACT

Image segmentation and 3D pose estimation are two key cogs in any algorithm for scene understanding. However, state-of-the-art CRF-based models for image segmentation rely mostly on 2D object models to construct top-down high-order potentials. In this paper, we propose new top-down potentials for image segmentation and pose estimation based on the shape and volume of a 3D object model. We show that these complex top-down potentials can be easily decomposed into standard forms for efficient inference in both the segmentation and pose estimation tasks. Experiments on a car dataset show that knowledge of segmentation helps perform pose estimation better and vice versa.

연구 동기 및 목표

• 2D 이미지 세분화와 3D 자세 추정을 향상시키기 위해 3D 객체 모델을 상향식 사전으로 통합한다.
• 시점 의존적인 형태 사전에 의존하는 2D 기반 CRF 모델의 한계를 해결한다.
• 세분화와 자세 추정 간 상호 정보를 활용하는 공동 최적화 프레임워크를 개발한다.
• 혼합 정수형 비볼록 최적화 문제에서 분해 및 경계 기법을 활용해 효율적인 추론을 가능하게 한다.
• 3D 기하 사전을 함께 모델링할 경우 세분화와 자세 추정이 상호로 성능 향상을 얻는지를 입증한다.

제안 방법

• 3D 와이어프레임 모델의 투영 일치를 기반으로 한 2D HOG 특징과의 매칭을 통한 형태 비용 기반 상향식 CRF 잠재변수, 2D 세분화 영역과의 매칭을 통한 부피 비용 기반 상향식 CRF 잠재변수를 제안한다.
• 3D 형태 및 부피 잠재변수를 효율적인 그래프 컷 추론을 위한 표준 단항 및 이항 CRF 항목으로 분해한다.
• 3D 자세 추정을 위해 분기 및 경계(Branch and Bound, B&B) 알고리즘을 사용하며, 형태 및 부피 비용에 기반한 기하학적 경계를 도입해 탐색 속도를 향상시킨다.
• B&B 알고리즘이 정확하지 않은 출력을 내는 문제를 해결하기 위해, 번갈아 최소화 과정 중 비용 감소를 보장하는 자세 셀 정밀화 절차를 도입한다.
• 세분화와 자세 추정 간 번갈아 최소화(Alternating Minimization, AM) 방식을 사용하며, 하향식 세분화와 DPM 기반 자세 추정으로 초기화한다.
• 세분화의 교차율을 기반으로 한 임계값 기반 수렴 기준을 사용하여 AM 과정을 종료한다.

실험 결과

연구 질문

• RQ1 2D 형태 사전을 초월하여 3D 객체 모델이 2D 이미지 세분화와 3D 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 CRF 프레임워크 내에서 3D 형태 및 부피 일관성을 기반으로 하는 가분성 있고 분해 가능한 잠재변수로 어떻게 표현할 수 있는가?
• RQ3 비볼록, 비연속 에너지 함수를 가진 공동 2D 세분화 및 3D 자세 추정 문제에서 효율적인 추론을 달성할 수 있는가?
• RQ4 세분화와 자세 추정을 함께 학습할 경우, 독립 최적화 대비 상호 성능 향상이 발생하는가?
• RQ5 3D 기하 사전은 2D 사전에 비해 차량 인식에서 차폐 및 내부 클래스 변동성을 다루는 데 더 효과적인가?

주요 결과

• 부피 기반 상향식 잠재변수는 3D 객체 데이터셋에서 91.67%의 최고 방향성 탐지 정확도를 기록하여 형태 기반(85.42%) 및 세분화 없음(78.13%) 기준선을 모두 초월했다.
• VOC2011 데이터셋에서 번갈아 최소화를 통한 공동 최적화로 방향성 탐지 정확도가 22.29%(AM-Volume)로 향상되었으며, 단일 단계 최적화 기준선(19.28%)을 뛰어넘었다.
• 공동 설정에서 세분화 정확도는 약간 감소했다(예: AM-Volume은 86.42%, B1-Volume은 89.17%), 이는 세분화와 자세 정확도 사이의 상충 관계를 시사한다.
• AM-Shape 모델을 사용하여 VOC2011 데이터셋에서 평균 탐지 정확도 54.29%를 달성했으며, 이는 기준선 대비 일관된 향상이다.
• 자세 셀 정밀화 절차는 번갈아 최소화 과정에서 비용 감소를 성공적으로 보장하였으며, B&B 알고리즘이 정확하지 않은 자세 출력을 내더라도 수렴 가능하게 했다.
• 시각적 결과(그림 8)는 진짜 자세를 사용할 경우 형태 및 부피 모델 모두에서 세분화 품질 향상을 보이며, 공동 학습이 세분화 및 자세 추정을 모두 정밀화함을 보여준다.