[논문 리뷰] Unsupervised Learning of Shape and Pose with Differentiable Point Clouds

Eldar Insafutdinov, Alexey Dosovitskiy|arXiv (Cornell University)|2018. 10. 22.

3D Shape Modeling and Analysis참고 문헌 23인용 수 17

한 줄 요약

이 논문은 다양한 기반의 자세 예측기들을 통합하여 재투영 손실을 통해 형상과 자세 예측기를 동시에 최적화하고, 다양한 자세 예측기의 앙상블을 지식 정복을 통해 단일 학생 모델로 압축함으로써, 지도 없는 2D 이미지에서 세밀한 3D 형상과 카메라 자세를 학습하는 비지도 학습 방법을 제안한다. 이는 지도 없는 자세 정보가 없이도 고해상도의 형상 재구성 성능을 달성하며, 복셀 기반 기준 모델을 능가하고, 자동으로 의미론적 대응 관계를 발견할 수 있다.

ABSTRACT

We address the problem of learning accurate 3D shape and camera pose from a collection of unlabeled category-specific images. We train a convolutional network to predict both the shape and the pose from a single image by minimizing the reprojection error: given several views of an object, the projections of the predicted shapes to the predicted camera poses should match the provided views. To deal with pose ambiguity, we introduce an ensemble of pose predictors which we then distill to a single "student" model. To allow for efficient learning of high-fidelity shapes, we represent the shapes by point clouds and devise a formulation allowing for differentiable projection of these. Our experiments show that the distilled ensemble of pose predictors learns to estimate the pose accurately, while the point cloud representation allows to predict detailed shape models. The supplementary video can be found at https://www.youtube.com/watch?v=LuIGovKeo60

연구 동기 및 목표

• 지상 진술된 카메라 자세가 없는 2D 이미지에서 정확한 3D 형상과 카메라 자세를 학습하는 것.
• 형상과 자세 추정의 상호의존 문제를 해결하기 위해 두 예측기의 공동 최적화를 통해 공동 추정을 수행하는 것.
• 다양한 자세 예측기의 훈련과 지식 정복을 통해 국소 최적점과 자세의 모호함을 해결하는 것.
• 저해상도의 복셀 격자 대신 기울기 가능한 점군 표현을 사용하여 고해상도의 형상 모델링을 가능하게 하는 것.
• 점군 출력의 구조를 통해 지도 없는 조건에서도 다양한 물체 인스턴스 간의 의미론적 대응 관계를 자동으로 발견하는 것.

제안 방법

• 형상을 복셀이 아닌 점군으로 표현하여 고해상도, 효율적이고 물체 중심의 형상 모델링을 가능하게 한다.
• 예측된 카메라 자세 하에서 점군으로부터 2D 윤곽선, 깊이 맵 또는 색상 이미지를 렌더링할 수 있는 기울기 가능한 투영 연산자를 도입한다.
• 예측된 2D 투영과 입력 이미지 간의 재투영 오차를 최소화하여 형상과 자세 예측기를 동시에 최적화한다.
• 국소 최적점과 자세의 모호함을 완화하기 위해 자세 예측기의 앙상블을 훈련한 후, 단일 학생 모델로 지식 정복을 수행한다.
• 완전 연결된 디코더를 사용하여 점군을 생성함으로써, 인스턴스 간의 암묵적 의미론적 대응 관계를 구현한다.
• 점군 출력의 공간 일관성을 활용하여 지도 없는 조건에서도 의미론적 대응 관계를 탐지한다.

실험 결과

연구 질문

• RQ1 2D 지도 정보만을 사용하고 지상 진술된 자세가 없는 조건에서 단일 이미지에서 정확한 3D 형상과 카메라 자세를 복원할 수 있는가?
• RQ2 기울기 가능한 점군 표현이 비지도 학습 환경에서 복셀 기반 방법보다 뛰어난 고해상도 3D 재구성 성능을 달성할 수 있는가?
• RQ3 자세 예측기의 앙상블 훈련과 정복 과정을 통해 단일 모델 훈련에 비해 자세의 모호함에 대한 강건성을 향상시킬 수 있는가?
• RQ4 지속적인 지도 없이도 점군 표현으로부터 3D 물체 인스턴스 간의 의미론적 대응 관계가 자동으로 도출될 수 있는가?
• RQ5 기존의 비지도 3D 재구성 방법과 비교하여 제안된 방법은 정량적·정성적으로 어떻게 성능을 발휘하는가?

주요 결과

• 앙상블 정복을 포함한 전체 방법은 평균 자세 오차 7.1°를 기록하여 단순 모델(9.0°)을 크게 앞서며, 지상 진술된 자세가 있는 모델의 성능(6.7°)에 근접한다.
• 점군 표현은 세밀한 형상 모델링을 가능하게 하며, 얇은 의자 다리 같은 세부 구조를 시각적으로 잘 재현함으로써 MVC와 같은 복셀 기반 방법보다 높은 시각적 정밀도를 확보한다.
• 의미론적 대응 관계는 자동으로 발견된다: 그림 6에서 같은 색상의 점들은 지도 없는 조건에서도 다양한 의자 인스턴스 간 동일한 물체 부위(예: 다리 끝, 시트 모서리)를 나타낸다.
• 실제 이미지 컬렉션에서의 일반화 능력이 뛰어나며, 정확한 지상 진술된 카메라 자세가 필요하지 않아 비정형적인 이미지 컬렉션에서의 학습에 적합하다.
• 제거 분석 결과, 앙상블 기반 접근이 정확한 자세 추정에 필수적임을 확인하였으며, 단순 모델은 자세의 모호함에 일반화되지 못한다.
• 기울기 가능한 투영 연산자는 2D 지도 학습을 통해 엔드 투 엔드 학습을 가능하게 하며, 2D 딥 러닝 기법(예: 인지 손실, GAN)을 3D 생성에 직접 적용할 수 있도록 한다.