[논문 리뷰] Exploiting Playbacks in Unsupervised Domain Adaptation for 3D Object Detection

Yurong You, Carlos Andres Diaz-Ruiz외 5명|arXiv (Cornell University)|2021. 03. 26.

Advanced Neural Network Applications참고 문헌 62인용 수 5

한 줄 요약

이 논문은 기록된 주행 시퀀스를 오프라인 재생하여 고품질의 가짜 레이블을 생성함으로써 자율주행 차량의 3D 객체 검출을 위한 새로운 비지도 도메인 적응 방법을 제안한다. 시간적 상관관계와 물체의 운동 특성을 활용하여 검출 결과를 부드럽게 다듬고, 보간 및 외삽함으로써 가려진 물체나 장거리에 있는 물체로 인한 검출 누락을 복구함으로써 도메인 간 격차를 다섯 개인 자율주행 데이터셋에서 크게 줄였으며, 기준 모델을 초월하는 검출 정확도와 신뢰성을 확보한다.

ABSTRACT

Self-driving cars must detect other vehicles and pedestrians in 3D to plan safe routes and avoid collisions. State-of-the-art 3D object detectors, based on deep learning, have shown promising accuracy but are prone to over-fit to domain idiosyncrasies, making them fail in new environments -- a serious problem if autonomous vehicles are meant to operate freely. In this paper, we propose a novel learning approach that drastically reduces this gap by fine-tuning the detector on pseudo-labels in the target domain, which our method generates while the vehicle is parked, based on replays of previously recorded driving sequences. In these replays, objects are tracked over time, and detections are interpolated and extrapolated -- crucially, leveraging future information to catch hard cases. We show, on five autonomous driving datasets, that fine-tuning the object detector on these pseudo-labels substantially reduces the domain gap to new driving environments, yielding drastic improvements in accuracy and detection reliability.

연구 동기 및 목표

• 자신의 환경(예: 도시형 독일)에서 학습된 검출기가 새로운, 알려지지 않은 환경(예: 농촌형 미국)에서 실패하는 등 3D 객체 검출에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 이전에 기록된 센서 데이터를 활용하여 인간의 레이블링 없이도 자율주행 차량이 새로운 주행 환경에 적응할 수 있도록 하기 위해.
• 재생된 주행 시퀀스의 오프라인 분석을 통해 고품질의 가짜 레이블을 생성함으로써 대상 도메인에서의 검출 신뢰성과 정확도를 향상시키기 위해.
• 실시간 검출의 한계, 특히 가림이나 장거리 물체로 인한 검출 누락 문제를 해결하기 위해 재생 중 향후 정보를 활용하기 위해.

제안 방법

• 이 방법은 기록된 LiDAR 시퀀스를 오프라인으로 재생하여 대상 도메인의 검출 결과를 재처리하고 가짜 레이블을 생성한다.
• 원천 도메인에서 신뢰도가 높은 검출 결과를 식별하고 물체의 운동 특성(위치, 속도, 크기)을 모델링하여 시간에 따라 트랙을 부드럽게 다듬고 개선한다.
• 시간 보간과 외삽을 적용하여 향후 및 과거 추적을 활용함으로써 가려진 물체나 먼 거리의 차량과 같은 검출 누락을 복구한다.
• 부드러움(S), 크기 조정(R), 보간(I), 외삽(E)을 조합하여 강력한 가짜 레이블을 생성하며, 특히 먼 거리 복구에 있어 E가 핵심적이다.
• 자기 학습을 통해 생성된 가짜 레이블 데이터로 검출기를 미세조정함으로써 대상 도메인으로의 일반화 능력을 향상시킨다.
• 전체 파이프라인은 '드림(Dreaming)'이라 명명되며, 야간 주차와 같은 유휴 기간 동안 차량 내부에서 실행될 수 있도록 오프라인으로 작동한다.

실험 결과

연구 질문

• RQ1 기록된 주행 시퀀스의 오프라인 재생이 검출 누락을 복구함으로써 비지도 도메인 적응에서 3D 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 시간 모델링과 물체 운동 특성이 장거리나 가려진 물체와 같은 어려운 상황에서 가짜 레이블의 품질을 얼마나 향상시킬 수 있는가?
• RQ3 재생된 가짜 레이블로 생성된 데이터로 미세조정하면 표준 자기 학습 또는 적응 없이 수행하는 것보다 성능이 뛰어나게 되는가?
• RQ4 제안된 방법이 도메인 갭을 충분히 줄여 일부 범위에서는 도메인 내 성능을 초월할 수 있는가?

주요 결과

• Argoverse에서 KITTI로의 이행에서, 이 방법은 IoU=0.5일 때 50-80m 범위의 차량에 대해 31.0%의 AP3D를 달성하여 ST 기준 13.0% 향상, NR 기준 12.0% 향상.
• Argoverse-to-KITTI에서 PIXOR의 경우, IoU=0.5일 때 30-80m 범위에서 도메인 내 성능(21.4% APBEV)을 초월하는 22.2% APBEV를 기록하여 UDA가 단일 도메인 성능을 초월할 수 있음을 입증.
• 절단 분석 결과, 외삽(E)이 먼 거리 검출 성능 향상에 가장 기여하였으며, 보간(I)을 사용할 경우 50-80m AP3D가 23.9%에서 외삽(E)을 사용할 경우 25.7%로 상승.
• 이 방법은 KITTI, Argoverse, Lyft, Waymo, nuScenes 등 평가된 다섯 개의 데이터셋 전반에서 일관되게 검출 정확도를 향상시켜 강력한 일반화 능력을 보였다.
• 특히 가려짐이나 장거리 검출과 같은 어려운 케이스에서 기준 모델이 실패하는 상황에서 도메인 갭을 크게 줄였으며, 성능 향상이 두드러졌다.
• 재생된 가짜 레이블로 생성된 데이터로 미세조정한 결과, 원천 모델가 자체가 예측하는 미래 정보의 성능(ST)을 초월하여 오프라인 고품질 레이블 생성의 가치를 입증하였다.