[논문 리뷰] Self-supervised Modal and View Invariant Feature Learning

Longlong Jing, Yucheng Chen외 3명|arXiv (Cornell University)|2020. 05. 28.

3D Shape Modeling and Analysis참고 문헌 54인용 수 12

한 줄 요약

이 논문은 점군, 메쉬, 다중 시점 이미지와 같은 다양한 데이터 모odal(형태)과 시점에 대해 불변인 3D 특징 표현을 학습하기 위한 자기지도 학습 프레임워크를 제안한다. 대응되는 모달 간 및 시점 간의 불변성을 대응 학습(contrastive learning)을 통해 양성/음성 쌍을 활용해 강제함으로써, 이질적인 3D 표현을 공통의 유니버설 공간으로 매핑하며, 수동 애너테이션 없이도 강건한 다중 모달 검색 성능을 달성하고, 3D 인식, 세분화, 검색 작업에서 지도 학습 방법과 비교할 만한 성능을 보인다.

ABSTRACT

Most of the existing self-supervised feature learning methods for 3D data either learn 3D features from point cloud data or from multi-view images. By exploring the inherent multi-modality attributes of 3D objects, in this paper, we propose to jointly learn modal-invariant and view-invariant features from different modalities including image, point cloud, and mesh with heterogeneous networks for 3D data. In order to learn modal- and view-invariant features, we propose two types of constraints: cross-modal invariance constraint and cross-view invariant constraint. Cross-modal invariance constraint forces the network to maximum the agreement of features from different modalities for same objects, while the cross-view invariance constraint forces the network to maximum agreement of features from different views of images for same objects. The quality of learned features has been tested on different downstream tasks with three modalities of data including point cloud, multi-view images, and mesh. Furthermore, the invariance cross different modalities and views are evaluated with the cross-modal retrieval task. Extensive evaluation results demonstrate that the learned features are robust and have strong generalizability across different tasks.

연구 동기 및 목표

• 기존 자기지도 학습 3D 특징 학습 방법이 단일 모달리티(예: 점군 또는 이미지)에 국한되어 있는 한계를 해결하기 위해, 여러 모달리티 간의 통합 학습을 가능하게 한다.
• 동일한 물체에 대해 서로 다른 3D 표현 방식과 다양한 시점에 대해 불변인 특징을 학습함으로써, 동일 물체의 다양한 3D 표현 간의 일반화를 가능하게 한다.
• 이질적인 3D 데이터를 위한 공통 특징 공간을 학습함으로써, 수동 애너테이션 없이도 다중 모달 3D 객체 검색을 가능하게 한다.
• 다양한 최종 응용 과제, 예를 들어 인식, 세분화, 소수의 학습 예제를 활용한 학습 등에서 3D 특징의 일반화 및 강인성을 향상시킨다.

제안 방법

• 두 가지 제약 조건을 제안한다: 모달 간 불변성(동일 물체의 서로 다른 모달리티에서의 특징를 일치시키기)과 시점 간 불변성(동일 물체의 서로 다른 시점에서의 특징를 일치시키기).
• 양성 쌍(동일 물체의 모달리티/시점 간) 간의 특징 거리를 최소화하고, 음성 쌍(다른 물체 간) 간의 거리를 최대화함으로써 대응 학습을 사용한다.
• 모달리티에 특화된 특징을 추출하기 위해 이질적인 하위 네트워크(예: 이미지에 대한 CNN, 점군에 대한 PointNet, 메쉬에 대한 메쉬 네트워크)를 활용한다.
• 대응 손실을 통해 서로 다른 모달리티와 시점의 특징를 공통 임bedding 공간에 통합함으로써, 엔드 투 엔드 학습이 가능하도록 한다.
• 정체성 불변성을 자기지도 신호로 활용: 동일 물체 쌍은 양성 쌍, 다른 물체 쌍은 음성 쌍으로 간주한다.
• 학습 중에 동일 물체의 다양한 시점을 생성하기 위해 데이터 증강(예: 회전, 자르기)을 적용하여 시점 불변성을 강화한다.

실험 결과

연구 질문

• RQ1 자기지도 특징 학습이 3D 표현에서 동시에 데이터 모달리티와 시점에 대해 불변성을 동시에 달성할 수 있는가?
• RQ2 라벨이 없는 데이터에서 정체성 정보만을 이용해 점군, 메쉬, 다중 시점 이미지 간에 통합된 특징 공간을 학습할 수 있는가?
• RQ3 제안된 방법이 수동 애너테이션 없이 효과적인 다중 모달 3D 객체 검색을 가능하게 하는가?
• RQ4 학습된 특징의 성능이 다양한 3D 비전 과제에서 지도 학습 및 자기지도 학습 기반 모델들과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 자율 지도 학습 전처리만으로 ModelNet40 3D 객체 인식 벤치마크에서 87.7%의 정확도를 달성하여, PointNet++ 및 DGCNN와 같은 지도 학습 방법과 유사한 성능을 보였다.
• 다중 시점 이미지 기반 인식에서, 자기지도 모델 $F_{img}$ 는 12개의 시점에서 87.7%의 정확도를 기록했으며, 최신 자기지도 방법 XMV(87.3%)를 능가하고 MVCNN 및 DeCAF와 같은 지도 학습 모델에 가까운 성능을 보였다.
• 점군 기반 인식에서 모델 $F_p$ 는 89.3%의 정확도를 기록했으며, 대부분의 자기지도 기반 모델을 능가하고 지도 학습 모델의 성능에 근접했다.
• 이 방법은 효과적인 다중 모달 검색을 가능하게 하였으며, 비행기나 자동차와 같은 고유한 구조를 가진 물체에 대해 정밀도가 높은 결과를 보였다.
• 이 프레임워크는 다섯 가지 최종 응용 과제에서 강력한 일반화 성능을 보였으며, 3D 객체 인식, 소수의 학습 예제를 활용한 인식, 부분 세분화, 도메인 내 검색, 다중 모달 검색 등이다.
• 저자들의 지식에 비추어 볼 때, 이는 점군, 메쉬, 이미지 간의 다중 모달 3D 검색을 탐색한 최초의 자기지도 학습 방법이다.