[논문 리뷰] Unsupervised Adaptation from Repeated Traversals for Autonomous Driving

Yurong You, Cheng Perng Phoo외 6명|arXiv (Cornell University)|2023. 03. 27.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 자율주행 차량의 3D 객체 검출을 위한 자기지도 학습 도메인 적응 방법인 Rote-DA를 제안한다. 이 방법은 동일한 노선을 반복 주행하면서 생성된 레이저 레인지파인더(LiDAR) 데이터의 무라벨 데이터를 활용하며, 주행 간 지속성(persistency)을 사전 신호로 활용하여 후행 필터링을 통해 가짜 양성(false positives)을 감소시키고, 전경-배경 감시를 통해 가짜 음성(false negatives)을 줄인다. 이로 인해 최소한의 레이블 데이터로도 Lyft와 Ithaca-365에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For a self-driving car to operate reliably, its perceptual system must generalize to the end-user's environment -- ideally without additional annotation efforts. One potential solution is to leverage unlabeled data (e.g., unlabeled LiDAR point clouds) collected from the end-users' environments (i.e. target domain) to adapt the system to the difference between training and testing environments. While extensive research has been done on such an unsupervised domain adaptation problem, one fundamental problem lingers: there is no reliable signal in the target domain to supervise the adaptation process. To overcome this issue we observe that it is easy to collect unsupervised data from multiple traversals of repeated routes. While different from conventional unsupervised domain adaptation, this assumption is extremely realistic since many drivers share the same roads. We show that this simple additional assumption is sufficient to obtain a potent signal that allows us to perform iterative self-training of 3D object detectors on the target domain. Concretely, we generate pseudo-labels with the out-of-domain detector but reduce false positives by removing detections of supposedly mobile objects that are persistent across traversals. Further, we reduce false negatives by encouraging predictions in regions that are not persistent. We experiment with our approach on two large-scale driving datasets and show remarkable improvement in 3D object detection of cars, pedestrians, and cyclists, bringing us a step closer to generalizable autonomous driving.

연구 동기 및 목표

• 자신의 주행 차량을 새로운 환경에 도입할 때 발생하는 도메인 이동 문제를 해결하기 위해, 레이블이 없는 데이터에서 3D 객체 검출 성능을 향상시키는 것.
• 실제 주행 환경에서 자연스럽게 발생하는 동일 노선의 반복 주행을 활용하여 도메인 적응을 위한 약한 감시 신호를 창출하는 것.
• 다양한 주행 획득된 무라벨 LiDAR 데이터를 활용하여 도메인의 차량, 보행자, 자전거 등에 대한 검출 정확도를 향상시키는 것.
• 지속성 사전 지식과 보조 감시를 통한 반복 학습 프레임워크를 개발하여 검출 오류를 보완하는 것.

제안 방법

• 다수의 주행 간 지속성 사전 지식(PP-score)을 계산하여 정적 배경 포인트를 식별하며, 이는 진짜 검출 가능성은 낮다.
• 후행 필터링 메커니즘을 통해 지속성(정적) 포인트 비율이 높은 검출을 필터링함으로써 가짜 양성 감소.
• 비지속성(전경) 포인트 검출을 장려하는 보조 손실을 도입하여 가짜 음성 감소.
• 타겟 도메인의 필터링된 가짜 레이블 데이터를 반복적으로 미세조정하여 지도 없는 앙상블 학습을 가능하게 함.
• 기존 3D 검출기와의 호환성을 위해 최소한의 아키텍처 수정으로 적용 가능하여 최신 기술 수준의 모델과도 호환.
• 소스 도메인과 타겟 도메인 간 객체 빈도가 공유된다는 가정을 바탕으로, 루트 수준의 데이터 수집 방식을 통해 확장 가능한 적응을 가능하게 함.

실험 결과

연구 질문

• RQ1 실제 주행 환경에서 동일 노선의 반복 주행이 3D 객체 검출의 비지도 도메인 적응에 신뢰할 수 있는 약한 감시 신호를 제공할 수 있는가?
• RQ2 레이어 간 지속성 정보를 활용하여 타겟 도메인에서 지도 없는 환경에서 가짜 양성 검출을 어떻게 줄일 수 있는가?
• RQ3 비지속성 포인트에 대한 보조 감시를 통해 재현율을 향상시키고 가짜 음성 검출을 줄일 수 있는가?
• RQ4 이 반복 학습 접근법이 실제 3D 검출 벤치마크에서 기존 비지도 도메인 적응 방법보다 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• Rote-DA는 KITTI에서 Lyft 및 Ithaca-365로의 적응 시, 일부 카테고리에서 20% 이상의 mAP 향상을 기록하며 뚜렷한 성능 향상을 보였다.
• KITTI → Lyft 벤치마크에서 Rote-DA는 타겟 도메인에서 수작업 레이블링된 전용 검출기의 성능을 초월하여 새로운 상한선을 설정했다.
• 기존 방법들인 PO-F + FB-F보다 높은 최대 재현율을 기록하여 가짜 음성 감소 효과가 뚜렷하다는 것을 확인했다.
• 정성적 결과에서는 ST3D 및 SN과 달리 Rote-DA가 차량, 보행자, 자전거 등 세 가지 객체 클래스를 높은 재현율과 낮은 가짜 양성으로 성공적으로 검출함을 보였다.
• PV-RCNN와 같은 다양한 모델과 다양한 적응 시나리오(예: Waymo Open Dataset에서 Ithaca-365로의 적응)에 대해 뛰어난 강인성을 보였다.
• 제거 실험 결과, 후행 필터링과 전경-배경 감시 모두 성능 향상에 필수적임을 확인했다.