[논문 리뷰] Multimodal Semi-Supervised Learning for 3D Objects

Zhi‐Min Chen, Longlong Jing외 3명|arXiv (Cornell University)|2021. 10. 22.

3D Shape Modeling and Analysis참고 문헌 56인용 수 10

한 줄 요약

이 논문은 3D 객체 분류 및 검색을 위한 새로운 다중모달 준지도 학습 프레임워크를 제안하며, 인스턴스 수준의 일관성과 다중모달 대비 프로토타입(M2CP) 손실을 활용하여 데이터 효율성을 향상시킨다. 포인트 클라우드, 메시, 이미지 간에 동일한 3D 객체에 대해 일관된 표현을 강제하고, 클래스 프로토타입을 통한 내부 클래스 특징 분산 최소화를 통해, 레이블이 부족한 경우에도 ModelNet10 및 ModelNet40에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In recent years, semi-supervised learning has been widely explored and shows excellent data efficiency for 2D data. There is an emerging need to improve data efficiency for 3D tasks due to the scarcity of labeled 3D data. This paper explores how the coherence of different modelities of 3D data (e.g. point cloud, image, and mesh) can be used to improve data efficiency for both 3D classification and retrieval tasks. We propose a novel multimodal semi-supervised learning framework by introducing instance-level consistency constraint and a novel multimodal contrastive prototype (M2CP) loss. The instance-level consistency enforces the network to generate consistent representations for multimodal data of the same object regardless of its modality. The M2CP maintains a multimodal prototype for each class and learns features with small intra-class variations by minimizing the feature distance of each object to its prototype while maximizing the distance to the others. Our proposed framework significantly outperforms all the state-of-the-art counterparts for both classification and retrieval tasks by a large margin on the modelNet10 and ModelNet40 datasets.

연구 동기 및 목표

• 3D 데이터의 레이블 부족 문제를 해결하기 위해 3D 객체 학습에서의 데이터 효율성을 향상시키는 것.
• 포인트 클라우드, 메시, 이미지 간의 다중모달 일관성을 활용하여 준지도 학습 기반의 3D 표현 학습을 수행하는 것.
• 다양한 모odal 간에 일관성과 클래스 수준의 특징 밀도를 동시에 최적화하는 통합 프레임워크를 개발하는 것.
• 제한된 감독 신호 하에서 기존의 2D 및 3D 준지도 학습 방법보다 표준 3D 벤치마크에서 우수한 성능을 내는 것.

제안 방법

• 동일한 3D 객체에 대해 다양한 모달(예: 포인트 클라우드, 이미지, 메시) 간에 일관된 표현을 생성하도록 강제하는 인스턴스 수준의 일관성 제약 조건을 도입한다.
• 클래스당 공통 프로토타입을 유지하고 내부 클래스 특징 거리의 최소화와 외부 클래스 거리의 최대화를 동시에 수행하는 다중모달 대비 프로토타입(M2CP) 손실을 제안한다.
• 미레이블된 샘플의 다중 모달 특징을 통합하기 위해 Ensembled-MLP를 사용하여 더 신뢰할 수 있는 의사 레이블을 생성한다.
• 표준 크로스 엔트로피 손실과 인스턴스 수준의 일관성 손실을 M2CP 손실과 결합하여 특징 학습과 예측 일관성 최적화를 동시에 수행한다.
• 입력 모달에 표준 데이터 증강 기법(예: 회전, 노이즈)을 적용하여 변형에 대한 강건성과 일관성을 향상시킨다.
• M2CP 손실과 일관성 손실이 레이블이 없는 환경에서 특징 학습을 이끄는 데 기여하도록, 레이블이 있는 데이터와 없는 데이터를 모두 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 3D 포인트 클라우드, 메시, 이미지 간의 다중모달 일관성을 효과적으로 활용하여 준지도 학습 기반의 3D 학습을 향상시킬 수 있는가?
• RQ2 다양한 모달 간에 인스턴스 수준의 일관성을 강제하면 3D 분류 및 검색에서 일반화 성능이 향상되는가?
• RQ3 다중모달 대비 프로토타입 손실이 3D 표현 학습에서 내부 클래스 변동성을 줄이고 특징의 분류 가능성을 향상시키는가?
• RQ4 사용 가능한 모달 수가 준지도 학습 기반 3D 학습 환경에서 성능에 미치는 영향은 어떠한가?

주요 결과

• 포인트 클라우드 모달을 사용할 때 레이블이 2% 뿐인 경우 ModelNet40에서 79.86%의 정확도를 달성하여 Info3D보다 약 9个百分点 높게 성과를 냈다.
• 레이블이 10%일 경우 이미지 모달에서 91.61%의 정확도를 기록하여 FixMatch(89.02%)와 Deep Co-training(89.00%)를 2.5个百分点 이상 앞서며 성능을 뛰어넘었다.
• M2CP 손실만으로도 기준 방법 대비 3.5–4.5%의 성능 향상을 보이며 내부 클래스 변동성 감소의 효과를 입증했다.
• 절단 실험 결과, 크로스 엔트로피 손실, 인스턴스 수준의 일관성 손실, M2CP 손실이 상호 보완적이며 최적의 성능을 내기 위해 모두 필수적임을 확인했다.
• 더 많은 모달을 포함할수록 성능이 지속적으로 향상되었으며, 세 가지 모달을 모두 사용한 전체 설정에서 분류 및 검색 과제에서 최고의 성능를 기록했다.
• 모든 설정에서 최신 기술 수준의 2D 및 3D 준지도 학습 방법보다 뛰어난 성능를 보이며, 3D 표현 학습에서 다중모달 일관성의 가치를 입증했다.