[논문 리뷰] Discovery of Latent 3D Keypoints via End-to-end Geometric Reasoning

Supasorn Suwajanakorn, Noah Snavely외 2명|arXiv (Cornell University)|2018. 07. 05.

Human Pose and Action Recognition참고 문헌 55인용 수 132

한 줄 요약

본 논문은 KeypointNet을 제시한다. 이는 다운스트림 포즈 추정 작업에 최적화된 은닉된 3D 키포인트와 검출기를 학습하는 엔드-투-엔드 프레임워크로, 실제 키포인트 주석이 필요하지 않으며 ShapeNet의 자동차, 의자, 비행기에서 감독된 기준선 대비 더 우수한 포즈 추정 성능을 보여준다.

ABSTRACT

This paper presents KeypointNet, an end-to-end geometric reasoning framework to learn an optimal set of category-specific 3D keypoints, along with their detectors. Given a single image, KeypointNet extracts 3D keypoints that are optimized for a downstream task. We demonstrate this framework on 3D pose estimation by proposing a differentiable objective that seeks the optimal set of keypoints for recovering the relative pose between two views of an object. Our model discovers geometrically and semantically consistent keypoints across viewing angles and instances of an object category. Importantly, we find that our end-to-end framework using no ground-truth keypoint annotations outperforms a fully supervised baseline using the same neural network architecture on the task of pose estimation. The discovered 3D keypoints on the car, chair, and plane categories of ShapeNet are visualized at http://keypointnet.github.io/.

연구 동기 및 목표

• 다운스트림 기하학적 작업에 직접 최적화된 최소한의 범주 특화 3D 키포인트 세트를 학습하도록 동기를 부여한다.
• 키포인트 검출기와 3D 좌표를 함께 학습하는 엔드-투-엔드 프레임워크를 제안한다.
• 뷰 간 및 객체 인스턴스 간 기하학적으로 일관된 키포인트를 장려한다.
• 잠재 키포인트가 상대 포즈 추정에서 감독 키포인트를 능가할 수 있음을 보여준다.

제안 방법

• 다중 뷰 일관성 손실과 상대 포즈 추정 손실이 포함된 엔드-투-엔드 목표를 정의한다.
• 공간 소프트맥스와 깊이 예측을 가진 변환 등가 네트워크를 사용하여 단일 영상에서 3D 키포인트 (u,v,z)를 예측한다.
• 두 뷰를 정렬하고 포즈 오차를 계산하기 위해 미분 가능 Procrustes(SVD)를 이용해 키포인트를 최적화한다.
• 3D 분리 손실과 실루엣 일관성 항을 사용하여 실루엣 내부에 고르게 분포하고 핵심점이 잘 배치되도록 한다.
• 대칭 물체 간 키포인트 배치를 안정화하고 대칭성을 깨기 위해 방향 정보를 인코딩한다.

실험 결과

연구 질문

• RQ1 다운스트림 작업을 위해 엔드-투-엔드로 학습된 잠재 3D 키포인트가 포즈 추정에서 수동으로 주석된 키포인트를 능가할 수 있는가?
• RQ2 다중 뷰 일관성과 미분 가능한 포즈 목표가 물체 인스턴스 전반에 걸쳐 기하학적으로 의미 있고 시점 간 일관된 키포인트를 산출하는가?
• RQ3 ShapeNet 카테고리 내에서 보지 못한 형태와 시점에 대해 학습된 키포인트가 얼마나 잘 일반화되는가?

주요 결과

방법	자동차 평균	자동차 중앙값	자동차 3D-SE	비행기 평균	비행기 중앙값	비행기 3D-SE	의자 평균	의자 중앙값	의자 3D-SE
a) Supervised	16.268	5.583	0.240	18.350	7.168	0.233	21.882	8.771	0.269
b) Supervised with orientation flag	13.961	4.475	0.197	17.800	6.802	0.230	20.502	8.261	0.248
c) Ours with pretrained orientation	13.500	4.418	0.165	18.561	6.407	0.223	14.238	5.607	0.203
d) Ours	11.310	3.372	0.171	17.330	5.721	0.230	14.572	5.420	0.196

• KeypointNet은 바퀴, 조종석, 날개, 의자 다리 등 기하학적으로 그리고 의미적으로 의미 있는 3D 키포인트를 학습한다.
• 비지도 엔드-투-엔드 방법이 상대 3D 포즈 추정에서 감독 기준선보다 우수하다.
• 키포인트는 시점 간 및 보지 않은 인스턴스에서도 일관되며, 명시적 깊이 지도 없이도 깊이를 추론할 수 있다.
• 방향 예측이 성능을 보조하며, 가려짐이 있어도 키포인트는 시점 간 일관된다.
• 이 방법은 ShapeNet의 자동차, 의자, 비행기에 일반화되며 큰 시점 변화에도 견고하다.