[논문 리뷰] Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

Shangzhe Wu, Christian Rupprecht외 1명|arXiv (Cornell University)|2019. 11. 25.

Advanced Vision and Imaging참고 문헌 71인용 수 14

한 줄 요약

이 논문은 확률적 대칭성과 조명 모델링을 활용하여 단일 뷰 이미지를 깊이, 반사율, 시점, 조명으로 분리하는 비지도 학습 딥 오토에인코더를 제안한다. 2D/3D 감독 데이터나 사전 형태 모델 없이도 얼굴, 고양이, 자동차에서 최신 기술 수준의 3D 재구성 정밀도를 달성하며, 2D 키포인트 감독을 사용하는 방법보다도 뛰어난 성능을 보인다.

ABSTRACT

We propose a method to learn 3D deformable object categories from raw single-view images, without external supervision. The method is based on an autoencoder that factors each input image into depth, albedo, viewpoint and illumination. In order to disentangle these components without supervision, we use the fact that many object categories have, at least in principle, a symmetric structure. We show that reasoning about illumination allows us to exploit the underlying object symmetry even if the appearance is not symmetric due to shading. Furthermore, we model objects that are probably, but not certainly, symmetric by predicting a symmetry probability map, learned end-to-end with the other components of the model. Our experiments show that this method can recover very accurately the 3D shape of human faces, cat faces and cars from single-view images, without any supervision or a prior shape model. On benchmarks, we demonstrate superior accuracy compared to another method that uses supervision at the level of 2D image correspondences.

연구 동기 및 목표

• 2D 또는 3D 감독 없이 제약 없는 단일 뷰 이미지에서 탄성 물체 카테고리의 3D를 학습하는 것.
• 기하학적 사전 지식을 활용하여 깊이, 반사율, 시점, 조명 등의 이미지 요소를 비지도 방식으로 분리하는 것.
• 엄격한 대칭성이 아닌 '확률적'으로 대칭적인 물체를 다루기 위해 학습된 대칭 확률 맵을 통해 대칭성을 모델링하는 것.
• 비대칭 조명이나 외관 조건에서도 대칭성을 활용하여 3D 재구성 정밀도를 향상시키는 것.
• 피팅 조정 없이도 실제 세계 이미지 및 비사진적 이미지(예: 그림, 만화)로 일반화하는 것.

제안 방법

• 모델은 입력 이미지를 깊이, 반사율, 시점, 조명 성분으로 분해하는 오토에인코더를 사용하며, 감독 없이 작동한다.
• 각 픽셀이 대칭 상대를 가질 가능성을 예측하는 대칭 확률 맵을 도입하여 엔드 투 엔드로 학습한다.
• 조명을 명시적으로 모델링하여 외관이 조명으로 인해 비대칭일 경우에도 대칭성을 활용한다.
• 학습 중 특징을 뒤집는 방식으로 대칭성을 강제하여 대칭적 구조에 대한 확률적 추론을 가능하게 한다.
• 모델은 3D 데이터나 키포인트 애너테이션 없이도 원시 RGB 이미지만을 사용하여 재구성 손실 기반으로 학습된다.
• 볼록한 물체(예: 얼굴)에 적합한 깊이 맵을 통해 표준 시점으로 3D 형태를 표현한다.

실험 결과

연구 질문

• RQ1 2D 또는 3D 감독 없이도 단일 뷰 이미지에서 3D 형태, 반사율, 시점, 조명을 분리할 수 있는가?
• RQ2 실제 데이터에서 완벽한 대칭성이 없을 경우 대칭성을 기하학적 사전 지식으로 어떻게 활용할 수 있는가?
• RQ3 조명 모델링이 조명으로 인해 비대칭적인 외관을 띠는 경우 3D 재구성 정밀도를 향상시킬 수 있는가?
• RQ4 학습된 대칭 확률 맵이 탄성적이며 비대칭적인 물체의 재구성 정밀도를 향상시키는가?
• RQ5 피팅 조정 없이도 모델이 그림이나 만화와 같은 비사진적 이미지로 일반화 가능한가?

주요 결과

• 이 방법은 [49] 및 [56]과 같은 비지도 기반 기준선보다 인간 얼굴, 고양이 얼굴, 자동차에서 뛰어난 3D 재구성 품질을 달성한다. 이 기준선들은 3D 감독을 갖지 못한다.
• 3DFAW 벤치마크에서 2D 키포인트 감독을 사용하는 DepthNet 방법보다도 우수한 성능을 보이며, 어떠한 애너테이션 없이도 거의 감독된 성능에 도달한다.
• 피팅 조정 없이도 얼굴 그림, 만화 드로잉과 같은 비자연스러운 이미지로 일반화되며 도메인 이탈에 대한 강건성을 입증한다.
• 합성 얼굴에 대한 분석 실험을 통해 대칭성과 조명 모델링이 재구성 정확도를 크게 향상시킨다는 것이 확인되었다.
• 극단적인 조명, 비라운드 반사 표면, 또는 극단적인 자세 조건에서 실패 사례가 발생하며, 이 경우 라운드 반사 가정이 붕괴된다.
• 모델은 섬세한 얼굴 세부 정보까지 포함한 고정밀 3D 재구성 결과를 생성하며, 정성적 비교에서 이전 비지도 방법보다 뛰어난 성능을 보였다.