[논문 리뷰] Self-Supervised Multi-View Learning via Auto-Encoding 3D Transformations

Xiang Gao, Wei Hu외 1명|arXiv (Cornell University)|2021. 03. 01.

3D Shape Modeling and Analysis참고 문헌 60인용 수 6

한 줄 요약

이 논문은 다중 2D 시점에서의 3D 변환을 자동으로 인코딩함으로써 3D 객체 특징을 학습하는 자기지도 학습 방법인 다중 시점 변환 등변 표현(MV-TER)을 제안한다. 다양한 시점 간의 등변성 조건을 강제함으로써, 최소한의 레이블 데이터로도 3D 객체 분류 및 검색에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

3D object representation learning is a fundamental challenge in computer vision to infer about the 3D world. Recent advances in deep learning have shown their efficiency in 3D object recognition, among which view-based methods have performed best so far. However, feature learning of multiple views in existing methods is mostly performed in a supervised fashion, which often requires a large amount of data labels with high costs. In contrast, self-supervised learning aims to learn multi-view feature representations without involving labeled data. To this end, we propose a novel self-supervised paradigm to learn Multi-View Transformation Equivariant Representations (MV-TER), exploring the equivariant transformations of a 3D object and its projected multiple views. Specifically, we perform a 3D transformation on a 3D object, and obtain multiple views before and after the transformation via projection. Then, we self-train a representation to capture the intrinsic 3D object representation by decoding 3D transformation parameters from the fused feature representations of multiple views before and after the transformation. Experimental results demonstrate that the proposed MV-TER significantly outperforms the state-of-the-art view-based approaches in 3D object classification and retrieval tasks, and show the generalization to real-world datasets.

연구 동기 및 목표

• 대규모 레이블 데이터에 의존하는 것의 높은 비용 문제를 해결하기 위해, 레이블 데이터 의존도를 줄이기 위한 목표.
• 다중 2D 시점 간 3D 객체 변환의 등변성 특성을 활용하여 자기지도 학습을 위한 특징 학습을 위한 목표.
• 융합된 다중 시점 특징에서 3D 변환 매개변수를 재구성함으로써 3D 객체의 내재된 표현을 학습하기 위한 목표.
• 실세계 및 시뮬레이션 데이터셋에서 3D 표현 학습의 일반화 능력과 강인성을 향상시키기 위한 목표.

제안 방법

• 3D 객체(점군 또는 메esh)에 3D 변환(예: 회전, 이동)을 적용한 후, 변환 전후로 고정된 다수의 2D 시점으로 투영한다.
• 원본 및 변환된 2D 시점 이미지를 공유 백본 네트워크에 입력하여 다중 시점 특징 표현을 추출한다.
• 변환 전후의 모든 시점에서의 특징 표현을 요소별 연결 또는 어텐션 기반 집계 방법을 사용해 융합한다.
• 융합된 표현에서 3D 변환 매개변수를 예측하기 위해 디코더 헤드를 학습하며, 평균 제곱 오차 손실을 사용한다.
• 재구성 손실이 자기지도 정규화 요소로 작용하도록, 표현 학습과 변환 재구성 모두를 엔드 투 엔드로 최적화한다.
• 하류 작업 손실(예: 분류)과 MV-TER 손실을 함께 최적화하기 위해 통합 학습을 수행한다.

실험 결과

연구 질문

• RQ1 다중 2D 시점 간 3D 변환의 등변성 특성을 활용하여 강력한 자기지도 3D 표현을 학습할 수 있는가?
• RQ2 3D 변환 전후의 다중 시점 특징 융합이 단일 시점 또는 독립적 시점 학습 대비 3D 표현 학습에 어떤 영향을 미치는가?
• RQ3 MV-TER가 RGB-D 및 ETH-80과 같은 실세계 다중 시점 데이터셋으로 일반화되는 정도는 어느 정도인가?
• RQ4 정확도 및 강인성 측면에서 최신 기술 수준의 시점 기반 3D 학습 모델과 비교해 본다면, 제안된 방법은 어떤가?

주요 결과

• MV-TER는 ModelNet40에서 3D 객체 분류 작업에서 95.00±6.12%의 정확도를 달성하여 이전의 시점 기반 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 실세계 RGB-D 데이터셋에서 MV-TER는 MVCNN 대비 2.05% 향상된 정확도와 GVCNN 대비 2.97% 향상된 정확도를 기록하였다.
• ETH-80 데이터셋에서 MV-TER는 MVCNN 대비 1.88% 향상되고 GVCNN 대비 1.25% 향상된 정확도를 기록하였다.
• 변환 추정 오차는 빠르게 수렴하였으며, 평균 제곱 오차가 60번째 학습 에포크에 거의 0에 수렴하였다.
• 해당 시점 간의 특징 맵은 등변성 행동을 보이며, 모델이 일관되고 변환 인식 특성을 가진 표현을 학습하고 있음을 확인하였다.
• 평균 예측 방식이 개별 시점 예측보다 더 정확한 3D 변환 추정을 제공함으로써, 융합 전략의 타당성이 입증되었다.