[논문 리뷰] SF-UDA$^{3D}$: Source-Free Unsupervised Domain Adaptation for LiDAR-Based 3D Object Detection

Cristiano Saltori, Stéphane Lathuilière외 3명|arXiv (Cornell University)|2020. 10. 16.

Advanced Neural Network Applications참고 문헌 48인용 수 10

한 줄 요약

이 논문은 원천 데이터나 타겟 애너테이션에 접근할 수 없음에도 불구하고 사전 훈련된 PointRCNN 검출기의 성능을 새로운 타겟 도메인에 적응시키기 위해 가짜 애너테이션을 가역적 스케일 변환과 운동 일관성 기반으로 활용하는 SF-UDA3D라는, LiDAR 기반 3D 객체 검출을 위한 최초의 소스 프리 비지도 학습 도메인 적응 프레임워크를 제안한다. 이는 nuScenes에서 KITTI로의 변환에서 도메인 갭을 66% 감소시키며 최신 기술 수준의 성능을 달성한다. 또한 KITTI에서 nuScenes로의 변환에서도 30%의 성능 향상을 보이며 우수한 성능을 입증한다.

ABSTRACT

3D object detectors based only on LiDAR point clouds hold the state-of-the-art on modern street-view benchmarks. However, LiDAR-based detectors poorly generalize across domains due to domain shift. In the case of LiDAR, in fact, domain shift is not only due to changes in the environment and in the object appearances, as for visual data from RGB cameras, but is also related to the geometry of the point clouds (e.g., point density variations). This paper proposes SF-UDA$^{3D}$, the first Source-Free Unsupervised Domain Adaptation (SF-UDA) framework to domain-adapt the state-of-the-art PointRCNN 3D detector to target domains for which we have no annotations (unsupervised), neither we hold images nor annotations of the source domain (source-free). SF-UDA$^{3D}$ is novel on both aspects. Our approach is based on pseudo-annotations, reversible scale-transformations and motion coherency. SF-UDA$^{3D}$ outperforms both previous domain adaptation techniques based on features alignment and state-of-the-art 3D object detection methods which additionally use few-shot target annotations or target annotation statistics. This is demonstrated by extensive experiments on two large-scale datasets, i.e., KITTI and nuScenes.

연구 동기 및 목표

• 점군 기하학, 객체 외관, 환경 조건의 변화로 인해 발생하는 LiDAR 기반 3D 객체 검출의 도메인 이동 문제를 해결한다.
• 실제 운영 환경에서 원천 데이터와 애너테이션이 자주 이용 불가능한 실용적 제약 조건을 해결한다.
• 원천 데이터 접근이나 타겟 애너테이션 없이도 사전 훈련된 원천 모델과 비타겟 애너테이션을 가진 타겟 데이터만으로도 도메인 적응 방법을 개발한다.
• 다른 도시, 날씨 조건, 또는 LiDAR 센서 유형 간의 3D 검출기 일반화 성능 향상을 도모한다.

제안 방법

• 입력 데이터에 다중 스케일 변환을 적용하여 타겟 점군에 대한 가짜 애너테이션을 생성함으로써 사전 훈련된 PointRCNN 모델이 다양한 해상도에서 객체를 검출할 수 있도록 한다.
• 가역적 스케일 변환을 사용하여 공간적 관계를 유지하고 검출 후 일관된 레이블 집계를 가능하게 한다.
• 검출 트랙을 비지도 운동 일관성 지표인 평균 볼륨 변동성(MVV)을 사용하여 프레임 간 예측된 객체 트랙의 안정성과 신뢰도를 평가한다.
• MVV에 최소 길이 페널티를 적용한 MVV*를 사용하여 짧거나 불안정한 트랙을 필터링함으로써 noise가 많은 데이터셋(예: nuScenes)에서의 강인성을 향상시킨다.
• 신뢰도 점수 기반으로 각 스케일에서 가장 우수한 검출 레이블을 집계하고, 이를 통해 타겟 도메인에서 PointRCNN 모델을 미세 조정한다.
• 검출 트랙의 시간적 일관성을 활용하여 지도 학습 없이도 고품질의 가짜 레이블을 식별한다.

실험 결과

연구 질문

• RQ1 원천 데이터와 애너테이션이 제공되지 않는 상황에서 소스 프리 비지도 학습 도메인 적응 프레임워크가 새로운 타겟 도메인에 3D 객체 검출기를 효과적으로 적응시킬 수 있는가?
• RQ2 가역적 스케일 변환이 점군 밀도와 기하학적 특성이 다양한 타겟 도메인에서 검출 성능 향상에 얼마나 효과적인가?
• RQ3 MVV 및 MVV*와 같은 비지도 운동 일관성 지표가 지도 학습 없이도 고품질의 가짜 애너테이션을 신뢰성 있게 식별할 수 있는가?
• RQ4 다중 스케일 가짜 애너테이션 기법이 LiDAR 기반 3D 검출의 도메인 적응에서 단일 스케일 검출보다 얼마나 뛰어난가?
• RQ5 소수의 타겟 애너테이션 또는 타겟 통계 자료가 필요한 최신 기술 대비 제안된 방법은 얼마나 우수한가?

주요 결과

• nuScenes에서 KITTI로의 적응에서 SF-UDA3D는 도메인 갭을 66% 감소시켜 기존 방법들을 크게 능가한다.
• 더 도전적인 KITTI에서 nuScenes로의 적응에서는 SF-UDA3D가 성능 격차의 30%를 메우며 도메인 이동에 대한 강인성을 입증한다.
• 타겟 애너테이션이 전혀 없음에도 불구하고 이전의 소스 프리 특징 기반 도메인 적응 방법보다 30% 높은 성능을 기록한다.
• 최소 길이 페널티를 적용한 MVV* 지표는 더 노이즈가 많은 nuScenes 데이터셋에서 TEX 및 표준 MVV를 능가하는 성능 향상을 이끌어내며 뛰어난 성능을 보였다.
• 세 개의 최상위 스코어링 스케일 요소를 사용해 타겟 점군을 재스케일링하면 원천 모델의 성능이 0.202에서 0.394 Avg-AP로 향상되며, 다중 스케일 가짜 애너테이션의 가치를 입증한다.
• 다양한 스케일에서 집계된 가짜 레이블을 활용한 미세 조정이 가장 높은 성능을 기록함으로써 다중 스케일 전략의 효과성을 확인한다.