[논문 리뷰] Train in Germany, Test in The USA: Making 3D Object Detectors Generalize

Yan Wang, Xiangyu Chen외 6명|arXiv (Cornell University)|2020. 05. 17.

Advanced Neural Network Applications참고 문헌 63인용 수 13

한 줄 요약

이 논문은 3D 객체 검출기의 성능 저하가 주로 한 데이터셋(예: 독일의 KITTI)에서 훈련된 모델을 다른 데이터셋(예: 미국의 Waymo)에 배포할 때 차량 크기 분포의 차이 때문임을 규명한다. 평균 차량 치수를 외부 데이터 소스에서 취득하여 예측된 바운딩 박스를 보정하는 단순한 통계 정규화 방법을 제안하며, 이로 인해 다양한 데이터셋 간 3D 검출 작업에서 평균 정밀도가 41.4점 향상된다.

ABSTRACT

In the domain of autonomous driving, deep learning has substantially improved the 3D object detection accuracy for LiDAR and stereo camera data alike. While deep networks are great at generalization, they are also notorious to over-fit to all kinds of spurious artifacts, such as brightness, car sizes and models, that may appear consistently throughout the data. In fact, most datasets for autonomous driving are collected within a narrow subset of cities within one country, typically under similar weather conditions. In this paper we consider the task of adapting 3D object detectors from one dataset to another. We observe that naively, this appears to be a very challenging task, resulting in drastic drops in accuracy levels. We provide extensive experiments to investigate the true adaptation challenges and arrive at a surprising conclusion: the primary adaptation hurdle to overcome are differences in car sizes across geographic areas. A simple correction based on the average car size yields a strong correction of the adaptation gap. Our proposed method is simple and easily incorporated into most 3D object detection frameworks. It provides a first baseline for 3D object detection adaptation across countries, and gives hope that the underlying problem may be more within grasp than one may have hoped to believe. Our code is available at https://github.com/cxy1997/3D_adapt_auto_driving.

연구 동기 및 목표

• 한 자율주행 데이터셋에서 훈련된 3D 객체 검출기를 다른 데이터셋에 배포할 때 성능 저하가 발생하는 근본 원인을 조사하는 것.
• 센서 차이, 날씨, 차량 크기 등의 도메인 스위치 요인 중에서 검출기 일반화에 가장 크게 영향을 주는 요인을 규명하는 것.
• 재훈련 없이도 도메인 스위치를 완화할 수 있는 실용적이고 경량의 방법을 개발하는 것.
• 차량 크기 통계가 교차 데이터셋 성능 저하의 주요 원인임을 검증하는 것.

제안 방법

• PIXOR 및 PointRCNN와 같은 3D 객체 검출기를 한 데이터셋에서 훈련하고, 여러 다른 데이터셋에서 평가하여 도메인 스위치 정도를 측정한다.
• 데이터셋 간 차량 크기, 형태, 센서 구성의 차이를 분석하여 성능 저하의 주요 원인을 규명한다.
• 외부 데이터(예: 자동차 판매 통계)에서 취득한 평균 차량 치수를 사용해 예측된 3D 바운딩 박스를 재스케일링하는 통계 정규화 기법을 제안한다.
• 입력 LiDAR 특징과 출력 검출 예측 모두에 정규화를 적용하여 검출기 출력을 대상 도메인 통계와 일치시킨다.
• 국가 차량 등록부나 판매 보고서에서 취득한 종합적인 차량 치수 데이터(높이, 너비, 길이)를 사용해 정규화를 校정한다.
• 다섯 가지 주요 데이터셋(KITTI, Argoverse, nuScenes, Lyft, Waymo)에서 다양한 거리 및 난이도 기준을 기준으로 방법을 평가한다.

Figure 1: Datasets. We show frontal view images (left) and the corresponding LiDAR signals (right) from the bird’s-eye view for five datasets: KITTI [ 18 , 19 ] , Argoverse [ 7 ] , nuScenes [ 4 ] , Lyft [ 25 ] , and Waymo [ 3 ] . These datasets not only capture scenes at different geo-locations, but

실험 결과

연구 질문

• RQ1 한 지리적 지역에서 다른 지역으로 이식될 때 3D 객체 검출기가 실패하는 주요 도메인 스위치 요인은 무엇인가?
• RQ2 센서 구성이나 날씨와 비교할 때, 데이터셋 간 차량 크기 및 형태의 차이가 검출기 성능에 미치는 영향은 얼마나 큰가?
• RQ3 평균 차량 치수 기반의 단순하고 데이터 기반의 정규화가 교차 데이터셋 3D 검출 성능을 크게 향상시킬 수 있는가?
• RQ4 다양한 센서 설정과 환경 조건을 가진 다양한 데이터셋에서 차량 크기 정규화로 얻는 성능 향상은 얼마나 견고한가?

주요 결과

• 교차 데이터셋 3D 객체 검출에서 성능 저하의 주요 원인은 훈련 도메인과 테스트 도메인 간 차량 크기의 통계적 차이이다.
• KITTI(독일 차량, 평균 길이 ~4.4m)에서 훈련된 검출기는 보정 없이 Waymo(미국, 평균 길이 ~5.15m)에서 36% 성능이 떨어진다.
• 외부 데이터 소스에서 취득한 평균 차량 치수를 사용한 통계 정규화를 적용하면, 다양한 데이터셋 간 3D 검출 평균 정밀도가 41.4점 향상된다.
• 데이터셋 전용 통계 자료 대신 자동차 판매 데이터를 사용해도 성능 향상이 유지되어, 이 방법의 강건성과 실용성을 입증한다.
• 이 방법은 정성적 결과를 통해 임계값을 낮추고 바운딩 박스 치수 추정 정확도를 향상시키며, KITTI에서의 결과를 통해 확인된다.
• 성능 향상은 특히 장거리 검출(50m–70m)에서 가장 두드러지며, 이 범위에서 치수 불일치가 가장 심각한 영향을 미친다.

Figure 2: The average numbers of 3D points per car (left) and per scene (right). We only include points within the frontal-view camera view and cars whose depths are within $70$ meters.