[논문 리뷰] Self-supervised Feature Learning by Cross-modality and Cross-view Correspondences
이 논문은 인간의 레이블이 없는 조건에서 2D 이미지와 3D 포인트 클라우드 특징을 동시에 학습하기 위해, 서로 다른 모odal(이미지 대비 포인트 클라우드)과 서로 다른 2D 뷰(동일한 물체의 다른 시점) 간의 대응 관계를 활용하는 자기지도 학습 프레임워크를 제안한다. 이 방법은 2D CNN과 3D GCN을 사용해 특징을 추출하며, 서로 다른 모달 간 일치를 위한 대비 손실과 서로 다른 뷰 간 일致성을 위한 대비 손실을 통해 공동으로 훈련되며, ModelNet40에서 최고 성능(89.8% 정확도)을 달성하고 다양한 후행 작업에서 뛰어난 성능을 보인다.
The success of supervised learning requires large-scale ground truth labels which are very expensive, time-consuming, or may need special skills to annotate. To address this issue, many self- or un-supervised methods are developed. Unlike most existing self-supervised methods to learn only 2D image features or only 3D point cloud features, this paper presents a novel and effective self-supervised learning approach to jointly learn both 2D image features and 3D point cloud features by exploiting cross-modality and cross-view correspondences without using any human annotated labels. Specifically, 2D image features of rendered images from different views are extracted by a 2D convolutional neural network, and 3D point cloud features are extracted by a graph convolution neural network. Two types of features are fed into a two-layer fully connected neural network to estimate the cross-modality correspondence. The three networks are jointly trained (i.e. cross-modality) by verifying whether two sampled data of different modalities belong to the same object, meanwhile, the 2D convolutional neural network is additionally optimized through minimizing intra-object distance while maximizing inter-object distance of rendered images in different views (i.e. cross-view). The effectiveness of the learned 2D and 3D features is evaluated by transferring them on five different tasks including multi-view 2D shape recognition, 3D shape recognition, multi-view 2D shape retrieval, 3D shape retrieval, and 3D part-segmentation. Extensive evaluations on all the five different tasks across different datasets demonstrate strong generalization and effectiveness of the learned 2D and 3D features by the proposed self-supervised method.
연구 동기 및 목표
- 3D 컴퓨터 비전 분야에서 감독 학습을 위한 대규모 3D 및 2D 데이터셋의 레이블링 비용을 해결하기 위해.
- 인간의 레이블에 의존하지 않고도 구분 가능한 2D 및 3D 시각적 특징을 학습하기 위해.
- 3D 데이터에서 서로 다른 모달 간 및 서로 다른 뷰 간 대응 관계를 동시에 최적화하여 특징의 일반화 능력을 향상시키기 위해.
- 학습된 특징을 다양한 후행 작업(인식, 검색, 부분 분할 등)에 평가하기 위해.
- 자기지도 사전 훈련이 제한된 데이터로 미세조정되었을 때 감독 학습 성능을 따라하거나 초월할 수 있음을 보여주기 위해.
제안 방법
- 입력 모odal로는 동일한 3D 메쉬에서 렌더링된 다중 뷰 이미지와 3D 포인트 클라우드를 사용한다.
- 2D 컨volution 신경망(CNN)은 동일한 3D 물체의 다양한 시점에서 렌더링된 2D 이미지에서 특징을 추출한다.
- 그래프 컨volution 신경망(GCN)은 3D 포인트 클라우드 데이터에서 직접 특징을 추출한다.
- 두 층으로 구성된 완전 연결 네트워크는 2D 이미지 특징과 3D 포인트 클라우드 특징 간의 상호 대응 관계를 예측한다.
- 두 가지 대비 손실을 통해 모델을 훈련한다: 하나는 서로 다른 모달 간 일치(동일한 물체 대비 다른 물체)를 위한 것이고, 다른 하나는 2D 이미지 특징에서 동일 물체 내부 거리 최소화, 다른 물체 간 거리 최대화를 위한 뷰 간 일관성이다.
- 전체 시스템은 인간의 레이블 없이도 엔드 투 엔드 backpropagation를 통해 공동 최적화된다.
실험 결과
연구 질문
- RQ12D 이미지와 3D 포인트 클라우드 간의 서로 다른 모달 간 대응 관계가 자기지도 학습 특징 학습에 효과적인 지도 신호로 활용될 수 있는가?
- RQ2동일한 3D 물체의 여러 2D 뷰 간의 상호 대응 관계가 레이블 없이도 2D 특징 학습을 향상시킬 수 있는가?
- RQ3서로 다른 모달 간 및 서로 다른 뷰 간 대응 관계를 동시에 최적화함으로써 더 일반화 가능한 2D 및 3D 특징을 얻을 수 있는가?
- RQ4자기지도 학습 모델이 3D 인식 및 검색 작업에서 감독 및 비감독 기준 모델 대비 성능이 어떻게 되는가?
- RQ5제한된 데이터로 미세조정되었을 때, 사전 훈련된 특징이 3D 부분 분할과 같은 후행 작업에 잘 일반화되는가?
주요 결과
- 제안된 방법은 인간 레이블 없이도 자기지도 사전 훈련만으로 ModelNet40에서 3D 형태 인식 작업에서 89.8%의 top-1 정확도를 달성하며, 이는 이전의 모든 비감독 방법을 능가한다.
- 제한된 데이터로 미세조정되었을 때, 최고 수준의 감독 학습 방법들(예: PointNet++)과 유사한 성능을 보이며, 데이터의 2%만 사용했을 때도 감독 기반 기준 모델을 초월한다.
- 다중 뷰 2D 형태 인식 작업에서 80개의 뷰를 사용했을 때 89.3%의 정확도를 기록했으며, 80개 뷰를 사용한 감독 학습 모델 MVCNN의 성능에 근접한다.
- 소규모 3D 데이터셋으로 미세조정했을 때, 사전 훈련된 3D 특징 추출기($F_p$)는 레이블이 있는 감독 설정 대비 2%의 데이터만 사용했을 때도 인스턴스 mIOU에서 +5.0%, 클래스 mIOU에서 +4.5% 향상된 성능을 기록한다.
- 서로 다른 모달 간 및 서로 다른 뷰 간 지도 신호를 함께 사용함으로써 더 견고하고 일반화 능력이 뛰어난 특징을 얻을 수 있으며, 이는 2D/3D 인식, 검색, 3D 부분 분할 등 다섯 가지의 별도 작업을 통해 검증되었다.
- 제거 실험 결과, 서로 다른 모달 간 및 서로 다른 뷰 간 손실이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.