[논문 리뷰] Cross-Domain 3D Equivariant Image Embeddings

Carlos Esteves, Avneesh Sud외 3명|arXiv (Cornell University)|2018. 12. 06.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

이 논문은 사전 학습된 구면 CNN을 감독 신호로 사용하여 2D 이미지를 3D 회전 등변성 구면 특징 임베딩으로 매핑하는 교차 도메인 신경망을 제안한다. 3D 물체의 회전에 대해 등변성을 가지는 잠재 공간에 이미지를 학습시킴으로써, 작업별 미세조정 없이도 제로샷 응용, 예를 들어 상대 자세 추정 및 새로운 시점 합성 기능을 가능하게 하며, 다양한 물체 카테고리에서 3D 자세 추정 및 강건한 시점 합성 성능을 달성하여 최신 기술 수준에 도달한다.

ABSTRACT

Spherical convolutional networks have been introduced recently as tools to learn powerful feature representations of 3D shapes. Spherical CNNs are equivariant to 3D rotations making them ideally suited to applications where 3D data may be observed in arbitrary orientations. In this paper we learn 2D image embeddings with a similar equivariant structure: embedding the image of a 3D object should commute with rotations of the object. We introduce a cross-domain embedding from 2D images into a spherical CNN latent space. This embedding encodes images with 3D shape properties and is equivariant to 3D rotations of the observed object. The model is supervised only by target embeddings obtained from a spherical CNN pretrained for 3D shape classification. We show that learning a rich embedding for images with appropriate geometric structure is sufficient for tackling varied applications, such as relative pose estimation and novel view synthesis, without requiring additional task-specific supervision.

연구 동기 및 목표

• 3D 물체의 회전에 대해 등변성을 가지는 2D 이미지 임베딩을 학습함으로써, 3D에서 2D로의 비선형 투영에도 불구하고 이를 달성하고자 한다.
• 작업별 특화된 감독 없이도 상대 자세 추정 및 새로운 시점 합성과 같은 후행 작업을 가능하게 하고자 한다.
• 사전 학습된 구면 CNN의 3D-회전 등변성 특징을 감독 신호로 활용하여 이미지 임베딩을 학습하고자 한다.
• 단일의 기하학적 인지 능력을 갖춘 임베딩 공간이 다양한 시각 작업을 지원할 수 있음을 입증하고자 한다.

제안 방법

• 2D 이미지를 사전 학습된 구면 CNN의 잠재 특징 공간으로 매핑하는 교차 도메인 인코더-디코더 네트워크를 훈련한다.
• 구면 CNN의 카테고리 기반 3D 형태 특징을 이미지 임베딩의 감독으로 사용하여 기하학적 일관성을 확보한다.
• 3D 물체를 세계에서 회전시키면 구면 컨볼루션을 통해 구면 임베딩도 회전하도록 함으로써 등변성을 강제한다.
• 두 임베딩 간의 구면 상관관계를 계산하여 상대 자세 추정을 수행한다.
• 목표 3D 회전을 구면 임베딩에 적용하고 다시 픽셀 공간으로 디코딩함으로써 새로운 시점을 생성한다.
• 쌍체의 기울인 이미지 데이터가 필요 없이 광학적 손실만으로 디코더를 훈련시킨다.

실험 결과

연구 질문

• RQ1 3D에서 2D로의 복잡한 카메라 투영에도 불구하고, 3D 물체의 회전에 대해 등변성을 가지는 2D 이미지 임베딩을 학습할 수 있는가?
• RQ2 작업별 특화된 미세조정 없이도 단일의 교차 도메인 임베딩 공간이 상대 자세 추정 및 시점 합성과 같은 다양한 후행 작업을 지원할 수 있는가?
• RQ3 특히 대칭성이나 도전적인 물체 카테고리에서 모델의 일반화 능력은 어떠한가?
• RQ4 구면 임베딩 간의 상관관계가 상대 자세 추정에 대해 엔드 투 엔드 회귀 기반 방법을 대체할 수 있는가?

주요 결과

• 모델은 기존 방법이 자료가 희소한 전방 3도의 자유도(3DOF) 회전에서 어려움을 겪는 상황에서도 3D 상대 자세 추정에서 최신 기술 수준의 성능을 달성한다.
• 구면 상관관계를 통한 상대 자세 추정은 KeypointNet과 같은 회귀 기반 기준 모델보다 우수한 성능을 보이며, 특히 도전적인 3DOF 설정에서 유의미한 성능 향상을 보인다.
• 단일 입력 이미지에서 구면 임베딩을 회전시켜 새로운 시점을 합성하는 데 성공하였으며, 외관 변화가 적은 물체에 대해서도 고품질 결과를 생성한다.
• 대칭적인 인스턴스(예: 비행기)를 포함한 다양한 물체 카테고리로 일반화되며, 대칭 인식 오차 측정법(min(err, π - err))을 사용하여 성능을 평가한다.
• 추가 감독 없이도 구면 임베딩가 충분한 3D 기하학적 및 외관 정보를 캡처하여 다양한 응용을 지원할 수 있다.