[논문 리뷰] Exploring Data Augmentation for Multi-Modality 3D Object Detection

Wenwei Zhang, Zhe Wang외 1명|arXiv (Cornell University)|2020. 12. 23.

Advanced Neural Network Applications참고 문헌 53인용 수 26

한 줄 요약

이 논문은 다중 모odal 3D 객체 검출기의 성능 저하 문제를 해결하기 위해 점군과 이미지 간 일관된 변환을 보장하는 다중 모달 데이터 증강 파이프라인인 Transformation Flow와 새로운 증강 방법인 MoCa를 제안한다. 역행 가능하고 재생 가능한 증강 및 막힘 인식 기반 컷 앤 페이스트 연산을 통해, 앙상블 방법을 사용하지 않고도 nuScenes에서 최고 성능을 기록하고 KITTI에서 경쟁적인 성능을 달성하였으며, 제3회 nuScenes 챌린지에서 최우수 PKL 상을 수상하였다.

ABSTRACT

It is counter-intuitive that multi-modality methods based on point cloud and images perform only marginally better or sometimes worse than approaches that solely use point cloud. This paper investigates the reason behind this phenomenon. Due to the fact that multi-modality data augmentation must maintain consistency between point cloud and images, recent methods in this field typically use relatively insufficient data augmentation. This shortage makes their performance under expectation. Therefore, we contribute a pipeline, named transformation flow, to bridge the gap between single and multi-modality data augmentation with transformation reversing and replaying. In addition, considering occlusions, a point in different modalities may be occupied by different objects, making augmentations such as cut and paste non-trivial for multi-modality detection. We further present Multi-mOdality Cut and pAste (MoCa), which simultaneously considers occlusion and physical plausibility to maintain the multi-modality consistency. Without using ensemble of detectors, our multi-modality detector achieves new state-of-the-art performance on nuScenes dataset and competitive performance on KITTI 3D benchmark. Our method also wins the best PKL award in the 3rd nuScenes detection challenge. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.

연구 동기 및 목표

• 다중 모달 3D 검출기가 더 rich한 입력 데이터를 가짐에도 불구하고 성능이 열등한 이유를 조사하기 위해.
• 다중 모달 학습에서 교차 모달 일관성 제약로 인해 효과적인 데이터 증강이 부족한 문제를 해결하기 위해.
• 공간적 대응 관계를 유지하면서 점군과 이미지 간에 다양한, 역행 가능한 증강을 가능하게 하는 프레임워크를 개발하기 위해.
• BEV 및 2D 이미지 영역 모두에서 막힘을 고려한 물리적으로 타당한 컷 앤 페이스트 증강 방법을 설계하기 위해.
• 앙상블 검출기를 사용하지 않고도 nuScenes에서 최고 성능을 기록하고 KITTI에서 경쟁적인 성능을 달성하기 위해.

제안 방법

• Transformation Flow는 점군과 이미지에 적용된 역행 가능한 변환의 순서와 파라미터를 기록하여, 다양한 모달 간 일관된 증강을 가능하게 한다.
• 이 파이프라인은 점군 변환을 역행하고 이미지 변환을 재생함으로써 LiDAR 공간의 어떤 점도 해당 이미지 픽셀로 매핑될 수 있도록 보장한다.
• MoCa는 BEV 및 2D 이미지 공간에서 막힘 일관성을 강제하는 다중 모달 컷 앤 페이스트 증강을 도입한다.
• MoCa는 페이스트 연산 중에 현실적인 막힘 패턴을 시뮬레이션하기 위해 무작위 교차율-전경 비율(IoF) 임계값을 사용한다.
• 이 방법은 점군과 이미지 양쪽 모두에서 랜덤 플립, 스케일링, 회전, 이동 등의 표준 단일 모달 증강 기법을 동일하게 효과적으로 적용할 수 있다.
• 이 프레임워크는 기존 검출기와 호환되며, 사전 훈련 및 공동 훈련 전략을 포함한 훈련 파이프라인과 원활하게 통합된다.

실험 결과

연구 질문

• RQ1 LiDAR와 RGB 이미지를 기반으로 하는 다중 모달 3D 검출기가 단일 모달 LiDAR 전용 방법에 비해 자주 성능이 열등한 이유는 무엇인가?
• RQ2 다중 모달 3D 검출기의 성능을 제한하는 데 있어 데이터 증강 부족의 정도는 어느 정도인가?
• RQ3 점군과 이미지 간 공간 일관성을 유지하면서 다중 모달 3D 검출에 효과적으로 데이터 증강을 적용할 수 있는 방법은 무엇인가?
• RQ4 특히 막힘과 물리적 타당성 측면에서, 표준 증강 기법(예: 컷 앤 페이스트)을 다중 모달 환경에 적용할 때의 주요 과제는 무엇인가?
• RQ5 통합적이고 역행 가능한 변환 파이프라인은 모달 일치를 해치지 않으면서 다중 모달 3D 검출기의 더 풍부한 증강을 가능하게 할 수 있는가?

주요 결과

• 제안된 변환 플로우를 통해 점군과 이미지 양쪽에 다양한, 역행 가능한 증강(예: 플립, 회전, 스케일링)을 적용할 수 있으며, 교차 모달 일관성이 보장된다.
• MoCa는 KITTI 3D 벤치마크에서 MVX-Net의 중간 mAP를 11.3% 향상시키고, nuScenes 데이터셋에서는 5.8% 향상시켜 단일 모달 대비를 뛰어넘었다.
• 향상된 MVX-Net은 앙상블 기반 클래스 전용 검출기를 사용하지 않고도 nuScenes 데이터셋에서 새로운 SOTA 성능을 달성하였다.
• 이 방법은 제3회 nuScenes 검출 챌린지에서 최고의 Planning KL-Divergence (PKL) 점수를 기록하여, 후속 계획 작업에 대해 탁월한 예측 품질을 보였다.
• nuImages에서 HTC를 사용해 이미지 브랜치를 사전 훈련하면, Faster R-CNN 사전 훈련 대비 NDS에서 0.7% 향상되었으며, 도메인 특화 사전 훈련의 이점을 입증하였다.
• 사전 최적화 방법 유지와 제3의 훈련 전략(ResNet-50 백본 동결) 간의 상호보완적 상호작용이 아블레이션 연구에서 가장 우수한 성능을 이끌어냈다.