[논문 리뷰] 1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and Domain Adaptation

Zhuangzhuang Ding, Yihan Hu외 5명|arXiv (Cornell University)|2020. 06. 28.

Advanced Neural Network Applications참고 문헌 20인용 수 19

한 줄 요약

이 논문은 CVPR 2020 Waymo Open Dataset 챌린지에서 3D 검출 및 도메인 적응 트랙의 우승 솔루션을 제시한다. 저자들은 객체 키포인트를 사용하여 3D 속성을 엔드 투 엔드로 회귀하는 앵커-프리, NMS-프리 3D 포인트 클러스터 검출기인 AFDet을 제안하며, 포인트 클러스터 밀도화, 포인트 페인팅, 모델 앙상블, 테스트 시 증강 기법을 활용하여 3D 검출에서 77.11% mAPH/L2, 도메인 적응에서 69.49% mAPH/L2의 최신 기술 수준 성능을 달성한다.

ABSTRACT

In this technical report, we introduce our winning solution "HorizonLiDAR3D" for the 3D detection track and the domain adaptation track in Waymo Open Dataset Challenge at CVPR 2020. Many existing 3D object detectors include prior-based anchor box design to account for different scales and aspect ratios and classes of objects, which limits its capability of generalization to a different dataset or domain and requires post-processing (e.g. Non-Maximum Suppression (NMS)). We proposed a one-stage, anchor-free and NMS-free 3D point cloud object detector AFDet, using object key-points to encode the 3D attributes, and to learn an end-to-end point cloud object detection without the need of hand-engineering or learning the anchors. AFDet serves as a strong baseline in our winning solution and significant improvements are made over this baseline during the challenges. Specifically, we design stronger networks and enhance the point cloud data using densification and point painting. To leverage camera information, we append/paint additional attributes to each point by projecting them to camera space and gathering image-based perception information. The final detection performance also benefits from model ensemble and Test-Time Augmentation (TTA) in both the 3D detection track and the domain adaptation track. Our solution achieves the 1st place with 77.11% mAPH/L2 and 69.49% mAPH/L2 respectively on the 3D detection track and the domain adaptation track.

연구 동기 및 목표

• 수동으로 설계된 앵커 프리오르에 의존하지 않고 다양한 도메인 간 일반화가 가능한 강력한 3D 객체 검출 시스템을 개발하는 것.
• 포인트 페인팅을 통한 다중 센서 융합을 활용하여 Waymo Open Dataset에서 검출 성능을 향상시키는 것.
• 적은 수의 레이블이 있는 적응 세트에서도 3D 검출 및 도메인 적응 트랙에서 최신 기술 수준의 성능을 달성하는 것.
• 데이터 증강 및 앙상블 기법을 통해 자원이 제한되고 도메인 이동이 발생하는 환경에서도 모델의 일반화 능력과 강건성을 향상시키는 것.

제안 방법

• 키포인트 히트맵에서 3D 경계 상자 속성을 직접 회귀하는 일단계, 앵커-프리, NMS-프리 3D 객체 검출기인 AFDet을 제안한다.
• 포인트 클러스터를 효율적으로 처리하기 위해 0.04m × 0.04m × 0.1m의 격자 크기로 바이오닉화하여 허위 BEV 특징 맵으로 변환한다.
• 3D 포인트를 2D 이미지 공간으로 투영하고 다중 시점에서의 이미지 기반 특징을 포인트 클러스터에 통합하기 위해 포인트 페인팅을 활용한다.
• 포인트 밀도를 높여 작은 또는 희귀 객체의 검출 성능을 향상시키기 위해 밀도화 기법을 도입한다.
• 추론의 강건성과 성능을 향상시키기 위해 테스트 시 증강(TTA)과 가중치 기반 앙상블(WBF)을 적용한다.
• 다양한 스케일의 특징 간 융합을 향상시키기 위해 가중치 융합 없이도 기능을 강화하는 수정된 BiFPN 유사 구조를 RPN 헤드에 적용한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 앵커 프리오르에 의존하지 않고도 앵커-프리, NMS-프리 3D 검출기가 Waymo Open Dataset에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 LiDAR 특징과 융합된 포인트 페인팅과 밀도화 기법이 3D 검출 성능 향상에 얼마나 효과적인가?
• RQ3 목표 도메인이 불균형하고 희소한 레이블을 가진 경우, 미세조정 없이 한 도메인에서 훈련된 모델이 다른 도메인으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 테스트 시 증강과 모델 앙상블이 표준 및 도메인 적응 설정 모두에서 검출 mAPH에 크게 기여하는가?

주요 결과

• 제안된 AFDet 모델은 3D 검출 트랙에서 77.11% mAPH/L2를 달성하여 2위 솔루션보다 5.59% 높고, 3위보다 11.58% 높은 성능을 보였다.
• 도메인 적응 트랙에서는 69.49% mAPH/L2를 기록하여 미세조정 없이도 도메인 이동에 강건함을 입증했다.
• 포인트 페인팅과 밀도화 기법의 활용이 소형 또는 희귀 객체(예: 자전거 탑승자) 검출 성능 향상에 크게 기여했다.
• 모델 앙상블과 테스트 시 증강은 평균적으로 검출 mAPH를 2.5–3.5% 향상시켰으며, WBF는 여러 모델의 예측을 효과적으로 융합했다.
• 적응 학습 세트에서 자전거 탑승자 객체 비율이 0.07%로 매우 낮았음에도 불구하고(기본 세트는 0.78%), 모델 성능은 안정적으로 유지되었다.
• 앵커-프리 설계와 엔드 투 엔드 키포인트 회귀로 NMS가 필요 없어져 추론 과정이 단순화되고 검출 일관성이 향상되었다.