[논문 리뷰] Open-Vocabulary 3D Detection via Image-level Class and Debiased Cross-modal Contrastive Learning

Yuheng Lu, Chenfeng Xu외 5명|arXiv (Cornell University)|2022. 07. 05.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 ImageNet1K의 이미지 수준 클래스 레이블을 활용하여 점군 검출기의 미학습 객체 카테고리 인식 능력을 향상시키는 새로운 오픈 범주 3D 객체 검출 프레임워크인 OV-3DETIC을 제안한다. 이미지 기반 가짜 레이블링과 비편향화된 다중모달 대비 학습 전략을 조합함으로써, OV-3DETIC은 추론 지연을 증가시키지 않으면서도 SUN-RGBD에서 최대 10.77% mAP 향상과 ScanNet에서 최대 9.56% mAP 향상을 달성하여 최신 기준 성능을 확보한다.

ABSTRACT

Current point-cloud detection methods have difficulty detecting the open-vocabulary objects in the real world, due to their limited generalization capability. Moreover, it is extremely laborious and expensive to collect and fully annotate a point-cloud detection dataset with numerous classes of objects, leading to the limited classes of existing point-cloud datasets and hindering the model to learn general representations to achieve open-vocabulary point-cloud detection. As far as we know, we are the first to study the problem of open-vocabulary 3D point-cloud detection. Instead of seeking a point-cloud dataset with full labels, we resort to ImageNet1K to broaden the vocabulary of the point-cloud detector. We propose OV-3DETIC, an Open-Vocabulary 3D DETector using Image-level Class supervision. Specifically, we take advantage of two modalities, the image modality for recognition and the point-cloud modality for localization, to generate pseudo labels for unseen classes. Then we propose a novel debiased cross-modal contrastive learning method to transfer the knowledge from image modality to point-cloud modality during training. Without hurting the latency during inference, OV-3DETIC makes the point-cloud detector capable of achieving open-vocabulary detection. Extensive experiments demonstrate that the proposed OV-3DETIC achieves at least 10.77 % mAP improvement (absolute value) and 9.56 % mAP improvement (absolute value) by a wide range of baselines on the SUN-RGBD dataset and ScanNet dataset, respectively. Besides, we conduct sufficient experiments to shed light on why the proposed OV-3DETIC works.

연구 동기 및 목표

• 기존 점군 검출기가 제한된 훈련 어휘로 인해 새로운 클래스에서 실패하는 오픈 범주 3D 객체 검출 문제를 해결하기 위해.
• 대규모로 완전히 애너테이션된 3D 점군 데이터셋의 부족을 보완하기 위해 ImageNet1K의 풍부한 이미지 수준 클래스 레이블을 활용하기 위해.
• 미학습 클래스에 대한 3D 애너테이션을 요구하지 않고도 이미지 모odal에서 점군 모달로 지식을 전이할 수 있는 방법을 개발하기 위해.
• 추론 지연을 유지하면서도 새로운 객체 카테고리로의 일반화 능력을 향상시키기 위해.

제안 방법

• 이 방법은 이중 단계 훈련 파이프라인을 사용한다: 먼저, ImageNet1K의 이미지 수준 지도를 활용해 2D 이미지 검출기가 3D 점군 내에서 새로운 카테고리의 가짜 바운딩 박스와 클래스 레이블을 생성한다.
• 모달 편향을 줄이기 위해 거리 인식 온도 전략을 사용하는 비편향화된 다중모달 대비 학습 목표를 도입한다. 이는 이미지와 점군 특징 간의 정렬을 도모한다.
• 대비 손실은 ImageNet1K의 이미지 특징과 가짜 레이블이 부여된 점군 특징 간에 적용되며, 모델이 일반화 가능한 공통 표현을 학습하도록 유도한다.
• 선형 투영 헤드를 사용해 특징을 공통 임베딩 공간으로 투영하고, 검출 헤드와 함께 엔드 투 엔드로 대비 손실을 최적화한다.
• 이 프레임워크는 제한된 지도 정보에도 불구하고 3D 검출기의 강력한 국소화 일반화 능력을 활용하여 새로운 클래스에 대한 신뢰할 수 있는 가짜 레이블을 생성한다.
• 추가적인 3D 애너테이션 또는 2D 검출 애너테이션을 요구하지 않으며, 오직 ImageNet1K의 이미지 수준 클래스 레이블에만 의존한다.

실험 결과

연구 질문

• RQ1 ImageNet1K과 같은 대규모 데이터셋의 이미지 수준 지도를 활용하여, 새로운 클래스에 대한 3D 애너테이션 없이 오픈 범주 3D 검출을 효과적으로 가능하게 할 수 있는가?
• RQ2 이미지에서 점군으로 지식을 전이하기 위해 다중모달 대비 학습을 어떻게 설계할 수 있으며, 모달 편향을 최소화할 수 있는가?
• RQ3 2D 검출기에서 유도된 가짜 레이블링이 새로운 카테고리에서의 3D 검출 성능 향상에 얼마나 기여하는가?
• RQ4 3D 검출기의 국소화 능력이 낮은 데이터 환경에서 신뢰할 수 있는 가짜 레이블링을 지원하기에 충분히 일반화되는가?
• RQ5 비편향화된 대비 학습 전략이 다양한 모달 간의 특징 정렬과 일반화 향상에 어떤 역할을 하는가?

주요 결과

• OV-3DETIC은 강력한 베이스라인 대비 SUN-RGBD 데이터셋에서 10.77%의 절대 mAP 향상을 달성하여 오픈 범주 검출에서 뚜렷한 성과를 보였다.
• ScanNet 데이터셋에서 OV-3DETIC은 베이스라인 모델 대비 mAP를 9.56% 절대적으로 향상시켜 다양한 벤치마크에서의 효과성을 입증했다.
• 절단 분석 결과, 가짜 레이블링, 클래스 기반 대비 학습, 거리 인식 온도 스케줄링이 순차적으로 새로운 클래스의 특징 군집화를 향상시킴을 확인했다.
• 특징 시각화 결과, 비편향화된 대비 학습 전략이 특히 새로운 카테고리에서 이미지와 점군 특징 분포를 더 가깝게 만든 것으로 확인되었다.
• AR25 지표는 이미지 데이터보다 점군 데이터에서 더 빠르게 수렴함을 보여주어, 3D 검출기의 국소화 일반화 능력이 매우 뛰어나다는 것을 시사하며, 이는 가짜 레이블링 사용에 유리하다.
• 50-에포크 간격으로 가짜 레이블을 반복적으로 개선하는 과정을 거칠수록 일관된 성능 향상이 관찰되어, 더 나은 가짜 레이블이 더 나은 검출 결과를 이끌 수 있음을 입증했다.