[논문 리뷰] PiMAE: Point Cloud and Image Interactive Masked Autoencoders for 3D Object Detection

Anthony Chen, Kevin Zhang외 5명|arXiv (Cornell University)|2023. 03. 14.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

PiMAE는 상호작용형 마스킹 오토인코더를 통해 3D 포인트 클라우드와 2D RGB 이미지 표현을 동시에 학습하는 자기지도 학습 프리트레인 프레임워크를 제안한다. 보완적인 다중모달 마스킹, 마스크 토큰을 위한 공유 디코더, 다중모달 재구성 기법을 도입함으로써, 대규모 RGB-D 벤치마크에서 3D 객체 검출 성능을 2.9% 향상시키고, 2D 검출 성능을 6.7% 향상시키며, 소수의 샘플로 분류하는 데서는 2.4% 향상시켰다.

ABSTRACT

Masked Autoencoders learn strong visual representations and achieve state-of-the-art results in several independent modalities, yet very few works have addressed their capabilities in multi-modality settings. In this work, we focus on point cloud and RGB image data, two modalities that are often presented together in the real world, and explore their meaningful interactions. To improve upon the cross-modal synergy in existing works, we propose PiMAE, a self-supervised pre-training framework that promotes 3D and 2D interaction through three aspects. Specifically, we first notice the importance of masking strategies between the two sources and utilize a projection module to complementarily align the mask and visible tokens of the two modalities. Then, we utilize a well-crafted two-branch MAE pipeline with a novel shared decoder to promote cross-modality interaction in the mask tokens. Finally, we design a unique cross-modal reconstruction module to enhance representation learning for both modalities. Through extensive experiments performed on large-scale RGB-D scene understanding benchmarks (SUN RGB-D and ScannetV2), we discover it is nontrivial to interactively learn point-image features, where we greatly improve multiple 3D detectors, 2D detectors, and few-shot classifiers by 2.9%, 6.7%, and 2.4%, respectively. Code is available at https://github.com/BLVLab/PiMAE.

연구 동기 및 목표

• 실세계 인식 작업에서 3D 포인트 클라우드와 2D 이미지 간 효과적인 다중모달 자기지도 학습이 부족한 문제를 해결하기 위해.
• 샘플링 편향이나 최적화되지 않은 모달 간 상호작용을 겪는 단순한 융합 또는 대비 학습을 넘어서, 다중모달 특징 정렬과 상호작용을 향상시키기 위해.
• 후속 3D 및 2D 비전 작업을 위한 강력한 공동 표현 학습을 가능하게 하는 통합된 프리트레인 프레임워크를 설계하기 위해.
• 명시적인 다중모달 감독을 통한 상호작용형 마스킹 오토인코딩이 단일모달 또는 비상호작용 다중모달 프리트레인보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 포인트 클라우드와 이미지 입력을 별도로 처리하는 이중 브랜치 마스킹 오토인코더 아키텍처로, 모달별 인코더와 마스크 토큰을 위한 공유 디코더를 갖춘다.
• 포인트 토큰을 이미지 패치에 투영하고 반대로도 수행함으로써, 포인트 클라우드와 이미지 모달 간에 가시성과 마스킹 토큰을 정렬하는 보완적인 다중모달 마스킹을 도입한다.
• 공유 디코더를 통해 양 모달의 마스크 토큰 간 상호정보 학습을 가능하게 하여, 이후 모달별 디코더에서 재구성하기 전에 수행한다.
• 다중모달 재구성 헤드는 포인트 클라우드 특징이 이미지 특징이나 픽셀을 재구성하도록 강제함으로써 의미 정렬과 특징의 풍부함을 향상시킨다.
• 모델은 마스킹 오토인코딩 목표를 사용해 SUN RGB-D와 ScanNetV2에서 프리트레인되며, 이후 검출 및 소수의 샘플로 분류 작업에서 미세조정된다.
• 이 프레임워크는 데이터 효율적인 미세조정을 지원하며, 제한된 레이블 데이터로도 뛰어난 성능을 보여준다.

실험 결과

연구 질문

• RQ1 마스킹 오토인코더가 3D 포인트 클라우드와 2D 이미지 모달을 동시에 프리트레인하기 위해 효과적으로 확장될 수 있는가?
• RQ2 보완적인 다중모달 마스킹 전략은 무작위 또는 균일 마스킹 전략에 비해 특징 정렬과 성능 향상에 어떤 영향을 미치는가?
• RQ3 다중모달 MAE에서 공유 디코더는 다중모달 상호작용과 표현 품질에 어떤 영향을 미치는가?
• RQ4 다중모달 재구성은 특징 학습과 후속 작업 성능 향상에 어느 정도 기여하는가?
• RQ5 단일모달 프리트레인과 비교했을 때, 양 모달을 함께 프리트레인하는 것이 후속 일반화 및 데이터 효율성 측면에서 어떤 성과를 낳는가?

주요 결과

• PiMAE는 기준 방법 대비 SUN RGB-D 데이터셋에서 AP@25 기준 3D 객체 검출 성능을 2.9% 향상시켰다.
• 동일한 벤치마크에서 2D 객체 검출 성능은 6.7% 향상되어 강력한 다중모달 상호보완성이 입증되었다.
• CIFAR-FS에서의 5-way 1-shot 설정에서 이미지 분류 정확도는 2.4% 향상되어 일반화 능력 향상이 확인되었다.
• 보완적인 마스킹 전략은 무작위 및 균일 마스킹 전략을 모두 능가하며, AP@25 기준 59.0을 기록하여 정렬된 마스킹이 다중모달 상호작용을 향상시킴을 시사한다.
• 다중모달 재구성 도입으로 인해 단일 모달별 재구성만을 사용하는 기준 모델 대비 AP@25에서 0.4% 향상되었으며, 이는 그 효과를 확인한다.
• 양 모달을 함께 프리트레인할 경우 한 브랜치만 사용할 경우 성능 저하가 심각하게 발생함을 통해, 다중모달 이해를 위한 이중 브랜치 학습의 必요성을 입증한다.