[논문 리뷰] Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis

Yan Xu, Heshen Zhan외 5명|arXiv (Cornell University)|2022. 10. 09.

3D Surveying and Cultural Heritage인용 수 22

한 줄 요약

PointCMT는 학습 중에 이미지 사전 정보를 점군 모델로 증류하는 교사-학생 크로스-모달 트레이닝 프레임워크를 도입하여 아키텍처를 변경하지 않고 포인트 단독 형태 분석을 강화합니다. ModelNet40과 ScanObjectNN에서 최첨단 성능을 달성합니다.

ABSTRACT

Although recent point cloud analysis achieves impressive progress, the paradigm of representation learning from a single modality gradually meets its bottleneck. In this work, we take a step towards more discriminative 3D point cloud representation by fully taking advantages of images which inherently contain richer appearance information, e.g., texture, color, and shade. Specifically, this paper introduces a simple but effective point cloud cross-modality training (PointCMT) strategy, which utilizes view-images, i.e., rendered or projected 2D images of the 3D object, to boost point cloud analysis. In practice, to effectively acquire auxiliary knowledge from view images, we develop a teacher-student framework and formulate the cross modal learning as a knowledge distillation problem. PointCMT eliminates the distribution discrepancy between different modalities through novel feature and classifier enhancement criteria and avoids potential negative transfer effectively. Note that PointCMT effectively improves the point-only representation without architecture modification. Sufficient experiments verify significant gains on various datasets using appealing backbones, i.e., equipped with PointCMT, PointNet++ and PointMLP achieve state-of-the-art performance on two benchmarks, i.e., 94.4% and 86.7% accuracy on ModelNet40 and ScanObjectNN, respectively. Code will be made available at https://github.com/ZhanHeshen/PointCMT.

연구 동기 및 목표

• 단일 모달리티 포인트 클라우드 학습의 병목 현상을 극복하기 위해 이미지로부터의 풍부한 외관 정보 사용을 동기 부여합니다.
• 학습 중에 이미지 사전 정보를 포인트 클라우드 모델로 전달하는 크로스-모달 지식 증류 프레임워크를 개발합니다.
• 추론 시점에 포인트 클라우드 모델 아키텍처를 변경하지 않고 개선을 가능하게 합니다.

제안 방법

• 이미지 인코더와 분류기가 교사로, 포인트-클라우드 인코더가 학생으로 작용하는 교사-학생 구성을 채택합니다.
• 각 3D 물체별로 다수의 뷰 이미지를 생성하여 이미지 기반의 글로벌 특징을 얻습니다.
• 이미지 특징을 포인트-클라우드와 유사한 표현으로 매핑하는 크로스-모달 포인트 제너레이터(CMPG)를 도입합니다; CMPG는 포인트 클라우드를 재구성하기 위해 Earth Mover’s Distance로 사전 학습됩니다.
• 세 가지 학습 목적을 적용합니다: 이미지 기반 분류 손실, 이미지 및 포인트 기반 재구성 간의 EMD를 통한 특징 향상 손실, KL 발산을 통한 로짓 정렬을 포함한 분류기 향상 손실.
• 최종 손실을 교차 엔트로피, 특징 및 분류기 손실의 가중합으로 사용합니다(가중치: α=30, β=0.3).
• 추론 시점 개선을 위해 아키텍처 변경 없이 임의의 포인트-클라우드 모델과 PointCMT를 통합합니다.

실험 결과

연구 질문

• RQ1 이미지로부터 파생된 프라이어가 추론 아키텍처를 수정하지 않고도 학습 중에 구별력 있는 포인트 클라우드 표현을 개선할 수 있는가?
• RQ2 다양한 모달리티간 음수 이전을 피하기 위해 크로스-모달 지식 증류를 어떻게 형식화해야 하는가(이미지 대 포인트 클라우드)?
• RQ3 다른 뷰 이미지 생성 전략이 크로스-모달 전이 효과에 어떤 영향을 미치는가?
• RQ4 데이터 효율성과 소거 선택이 표준 3D 벤치마크에서 PointCMT의 이득에 어떤 영향을 미치는가?

주요 결과

• PointCMT는 기저선 전반에서 주목할 만한 이득을 제공합니다; 예를 들어 PointNet++와 PointCMT는 ModelNet40에서 OA 94.4%에 도달하며, 베이스라인 93.4%에서 상승(+1.0 절대)이 있습니다.
• ScanObjectNN에서 PointNet++와 PointCMT은 PB_T50_RS에서 OA 83.3%(+3.9) 및 OBJ_ONLY에서 mAcc 91.8%(+4.3)를 달성합니다.
• 특정 설정에서 PointMLP와 PointCMT은 PB_T50_RS에서 OA를 86.4%(+1.0), OBJ_ONLY에서 mAcc를 92.0%(+2.6)로 개선합니다.
• 제한된 데이터에서 PointCMT의 이득이 더 두드러지며, 학습 데이터의 2%와 10%에서 PointNet++ with PointCMT의 OA가 약 +1.9에서 +2.8 포인트 증가합니다.
• 절단(abl) 분석은 FE(특징 향상)와 CE(분류기 향상)를 결합할 때 최적의 결과를 보여주며(ModelNet40 OA 94.4%, ScanObjectNN OBJ_ONLY 83.3%)
• 표준 KD 방법과 비교하여 PointCMT의 크로스-모달 접근법은 음의 전달을 피하고 테스트된 벤치마크에서 베이스라인보다 우수합니다.