[논문 리뷰] CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection

Yanan Zhang, Jiaxin Chen외 1명|arXiv (Cornell University)|2022. 04. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

CAT-Det는 다중 모odal 3D 객체 검출을 위한 대비 증강 Transformer 프레임워크를 제안하며, Pointformer 및 Imageformer 브랜치를 갖춘 이중 스트림 아키텍처를 활용하고, 장거리 맥락 인코딩을 위해 교차 모odal Transformer(CMT)를 도입한다. 이는 포인트 클라우드에만 적용되는 계층적 대비 학습 기반의 일방적 다중 모달 데이터 증강(OMDA)을 통해 KITTI에서 75.42% mAP를 달성하며, 보행자 및 자전거와 같은 어려운 케이스의 검출 정확도를 크게 향상시킨다.

ABSTRACT

In autonomous driving, LiDAR point-clouds and RGB images are two major data modalities with complementary cues for 3D object detection. However, it is quite difficult to sufficiently use them, due to large inter-modal discrepancies. To address this issue, we propose a novel framework, namely Contrastively Augmented Transformer for multi-modal 3D object Detection (CAT-Det). Specifically, CAT-Det adopts a two-stream structure consisting of a Pointformer (PT) branch, an Imageformer (IT) branch along with a Cross-Modal Transformer (CMT) module. PT, IT and CMT jointly encode intra-modal and inter-modal long-range contexts for representing an object, thus fully exploring multi-modal information for detection. Furthermore, we propose an effective One-way Multi-modal Data Augmentation (OMDA) approach via hierarchical contrastive learning at both the point and object levels, significantly improving the accuracy only by augmenting point-clouds, which is free from complex generation of paired samples of the two modalities. Extensive experiments on the KITTI benchmark show that CAT-Det achieves a new state-of-the-art, highlighting its effectiveness.

연구 동기 및 목표

• LiDAR 포인트 클라우드와 RGB 이미지 간의 다중 모달 간 불일치 문제를 해결하기 위해.
• 모든 모달리티에서 장거리 내모달 및 교차 모달 의존성을 캡처함으로써 특징 표현을 향상시키기 위해.
• 복잡한 쌍화된 데이터 생성을 피하면서도 모델의 일반화 능력을 향상시키는 효과적인 데이터 증강 전략을 개발하기 위해.
• 다중 모달 3D 객체 검출에서 KITTI 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• CAT-Det는 포인트 클라우드 처리를 위한 Pointformer(PT) 브랜치와 이미지 특징 추출을 위한 Imageformer(IT) 브랜치를 갖춘 이중 스트림 아키텍처를 사용한다.
• 교차 모달 Transformer(CMT) 모듈을 도입하여 교차 어텐션과 특징 융합을 수행함으로써, 세밀한 어텐션 가중치를 통해 교차 모달 관계를 종합적으로 모델링한다.
• 포인트 수준과 객체 수준에서 포인트 클라우드에만 증강을 적용하는 일방적 다중 모달 데이터 증강(OMDA)을 통해 계층적 대비 학습을 실시한다.
• 대비 학습을 위한 음성 샘플은 객체 수준에서 메모리 백업을 사용하여 선택되며, 쌍화된 이미지 증강이 필요 없이 특징의 분류 능력을 향상시킨다.
• 기존의 PointNet++와 2D CNN 대신 Transformer를 도입하여 더 넓은 수신장과 더 나은 맥락 모델링을 달성한다.
• CMT에서의 특징 융합은 단순 연결 또는 어텐션 기반 융합보다 우수한 성능을 보이며, 단일 모달 및 교차 모달 특징을 모두 유지한다.

실험 결과

연구 질문

• RQ1 다중 모달 3D 객체 검출에서 장거리 내모달 및 교차 모달 의존성을 효과적으로 캡처할 수 있는 방법은 무엇인가?
• RQ2 복잡한 쌍화된 데이터 생성 없이도 하나의 모달리티(LiDAR)에만 데이터 증강을 적용하여 다중 모달 검출 성능을 향상시킬 수 있는가?
• RQ3 포인트 수준과 객체 수준에서의 계층적 대비 학습이 모델 일반화 및 정확도에 미치는 영향은 무엇인가?
• RQ4 제안된 교차 모달 Transformer(CMT)는 기존의 연결 또는 어텐션 기반 융합 방법과 비교해 어떻게 성능을 높이는가?
• RQ5 제안된 프레임워크는 기존 최고 성능 기준보다 KITTI 벤치마크에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• CAT-Det는 KITTI 3D 객체 검출 벤치마크에서 기존 최고 성능보다 3.53% 높은 mAP 75.42%를 달성하며 새로운 최고 성능을 기록한다.
• 제거 실험 결과, TPI, CMT, OMDA 각 구성 요소가 유의미하게 기여하며, OMDA만으로도 베이스라인 대비 mAP가 3.53% 향상됨을 확인하였다.
• CMT 모듈은 연결 및 어텐션 기반 융합보다 우수한 성능을 보이며, TPI와 조합했을 때 71.89% mAP를 달성하였다. 이는 단일 모달 및 교차 모달 특징을 유지하고 정밀하게 개선할 수 있기 때문이다.
• 메모리 백업을 사용한 객체 수준의 대비 학습(CA-O-MB)이 포인트 수준 증강보다 가장 높은 성능 향상을 보이며, mAP를 2.65% 향상시켰다.
• 보행자 및 자전거와 같은 어려운 카테고리에서 뛰어난 성능을 보이며, 각각 mAP가 7.18% 및 5.59% 향상되어 소형 또는 부분적으로 노출된 객체에 대한 강력한 일반화 능력을 입증하였다.
• 시각화 결과, CMT 모듈을 통해 두 모달리티의 보완적 단서를 활용하여 희소하거나 먼 거리에 있는 객체의 특징을 효과적으로 향상시킴을 확인하였다.