[논문 리뷰] 3D Object Class Detection in the Wild

Bojan Pepik, Michael Stark외 3명|arXiv (Cornell University)|2015. 03. 17.

Advanced Neural Network Applications참고 문헌 8인용 수 5

한 줄 요약

이 논문은 RCNN 기반 2D 객체 검출에 연속적인 시점 회귀, 2D 키포인트 검출, 그리고 2D-3D 키포인트 정렬을 통한 강성 있는 3D 리프팅을 통합한 네 단계로 구성된 3D 객체 클래스 검출 프레임워크를 제안한다. 이는 Pascal3D+에서 최신 기술 수준을 넘어선 성능을 달성하여 평균 정밀도를 21.2% 향상시키고, AAVP를 12.5% 향상시키며 동시에 단일 이미지에서 정확한 3D 형태 추정과 경쟁 가능한 세그멘테이션 마스크를 생성한다.

ABSTRACT

Object class detection has been a synonym for 2D bounding box localization for the longest time, fueled by the success of powerful statistical learning techniques, combined with robust image representations. Only recently, there has been a growing interest in revisiting the promise of computer vision from the early days: to precisely delineate the contents of a visual scene, object by object, in 3D. In this paper, we draw from recent advances in object detection and 2D-3D object lifting in order to design an object class detector that is particularly tailored towards 3D object class detection. Our 3D object class detection method consists of several stages gradually enriching the object detection output with object viewpoint, keypoints and 3D shape estimates. Following careful design, in each stage it constantly improves the performance and achieves state-ofthe-art performance in simultaneous 2D bounding box and viewpoint estimation on the challenging Pascal3D+ dataset.

연구 동기 및 목표

• 실세계의 제약 없는 이미지(‘in the wild’)에서 2D 바운딩 박스를 넘어서 정밀한 3D 객체 클래스 검출을 가능하게 하기 위해.
• 다중 시점 객체 검출과 세밀한 3D 형태 정렬 사이의 격차를 해소하기 위해 2D 검출과 3D 리프팅을 통합함으로써.
• 자세, 형태, 키포인트와 같은 rich한 3D 기하 정보를 추가함과 동시에 2D 검출 정확도를 유지하거나 향상시키기 위해.
• 3D 정보를 검출에 통합함으로써 2D 국소화 성능이 악화되지 않는지 검증하기 위해.

제안 방법

• 기본 단계로 RCNN 기반 2D 객체 검출기를 사용하여 이미지 내 객체 클래스의 위치를 국소화한다.
• 이를 통해 3D 공간에서의 객체 방향을 예측하기 위해 연속적인 시점 회귀 헤드를 적용하여 이산적인 각도 구간 분류 방식을 개선한다.
• 이미지의 점과 3D CAD 모델의 키포인트 사이의 2D-3D 대응 관계를 설정하기 위해 2D 키포인트 검출을 수행한다.
• 예측된 2D-3D 키포인트 대응 관계와 추정된 시점을 기반으로 3D CAD 프로토타입을 이미지에 강성 있는 방식으로 정렬하는 강성 있는 3D 리프팅 단계를 수행한다.
• 2D 검출, 시점 추정, 키포인트 국소화를 동시에 최적화하기 위해 구조적 손실을 사용하여 파이프라인을 훈련한다.
• 최종적으로 3D 객체 가설을 투영하여 세그멘테이션 마스크를 생성함으로써 3D 형태 예측의 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 실세계 이미지에서 동시에 최신 기술 수준의 2D 객체 검출과 3D 형태/자세 추정을 달성할 수 있는 3D 객체 클래스 검출기를 설계할 수 있는가?
• RQ2 키포인트 정렬과 시점 회귀를 통한 3D 기하 추론을 추가함으로써 2D 검출 성능이 떨어지는가?
• RQ3 작은 수의 3D CAD 프로토타입이 혼잡하고 부분적으로 가려진 장면에서 다양한 객체 클래스에 대해 정확한 3D 객체 가설을 효과적으로 생성하는 데 사용될 수 있는가?
• RQ4 2D-3D 키포인트 정렬을 통한 3D 리프팅 성능이 직접 3D 리프팅 또는 키포인트 회귀와 비교할 때 시점 추정 및 세그멘테이션 정확도 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 Pascal3D+에서 이전 최고 기술 대비 2D 객체 검출의 평균 정밀도(AP)를 21.2% 향상시켰다.
• 이전 최고 기술 대비 평균 각도 시점 성능(AAVP)을 12.5% 향상시켜 35.5%의 mAAVP를 달성했다.
• 시점 유도 강성 정렬(RCNN-Ridge-L)을 사용한 3D 리프팅 방법이 직접 리프팅(RCNN-L) 및 키포인트 회귀 기반 베이스라인보다 AAVP와 세그멘테이션 정확도 양면에서 뛰어난 성능을 보였다.
• Pascal3D+에서 41.4%의 세그멘테이션 정확도는 네이티브 세그멘테이션 방법과 경쟁 가능했으며, 이는 3D 형태 예측의 품질을 확인하는 데 기여했다.
• 3D 정보를 추가함에도 불구하고 기초 RCNN 검출기와 동일한 2D 검출 AP를 유지함으로써, 정보 강화로 인한 성능 저하가 없음을 입증했다.
• Pascal-context 데이터셋에서 이 방법은 31.5%의 세그멘테이션 정확도를 달성하여 베이스라인 방법을 뛰어넘었으며, 세그멘테이션에 대해 훈련되지 않았음에도 불구하고 최신 기술 수준의 세그멘테이션 모델에 근접한 성능을 보였다.