[논문 리뷰] Pseudo-labeling for Scalable 3D Object Detection

Benjamin Caine, Rebecca Roelofs외 5명|arXiv (Cornell University)|2021. 03. 02.

Advanced Neural Network Applications참고 문헌 55인용 수 5

한 줄 요약

이 논문은 3차원 객체 검출을 위한 가짜 레이블링 기법을 제안하며, 아키텍처 변경 없이도 대규모 비라벨링 LiDAR 데이터를 활용해 성능을 크게 향상시킨다. 제한된 라벨링 데이터로 훈련된 강력한 티처 모델이 예측 결과를 가짜 레이블로 디스틸리케이션하여 학생 모델을 훈련시키는 방식으로, Waymo Open Dataset에서 차량에 대해 74.0 L1 AP, 보행자에 대해 69.8 L1 AP의 최신 기준(SOTA) 성능을 달성한다. 이는 3~10배 더 많은 라벨링 데이터로 훈련된 지도 학습 모델을 능가하며, Kirkland와 같은 새로운 도메인으로의 일반화 능력도 효과적으로 확보한다.

ABSTRACT

To safely deploy autonomous vehicles, onboard perception systems must work reliably at high accuracy across a diverse set of environments and geographies. One of the most common techniques to improve the efficacy of such systems in new domains involves collecting large labeled datasets, but such datasets can be extremely costly to obtain, especially if each new deployment geography requires additional data with expensive 3D bounding box annotations. We demonstrate that pseudo-labeling for 3D object detection is an effective way to exploit less expensive and more widely available unlabeled data, and can lead to performance gains across various architectures, data augmentation strategies, and sizes of the labeled dataset. Overall, we show that better teacher models lead to better student models, and that we can distill expensive teachers into efficient, simple students. Specifically, we demonstrate that pseudo-label-trained student models can outperform supervised models trained on 3-10 times the amount of labeled examples. Using PointPillars [24], a two-year-old architecture, as our student model, we are able to achieve state of the art accuracy simply by leveraging large quantities of pseudo-labeled data. Lastly, we show that these student models generalize better than supervised models to a new domain in which we only have unlabeled data, making pseudo-label training an effective form of unsupervised domain adaptation.

연구 동기 및 목표

• 자율주행차 인식에서 새로운 지리적 영역에 대해 3차원 경계상자 레이블링을 수집하는 데 드는 높은 비용과 확장성의 장벽을 해결하기 위해.
• 가짜 레이블링을 통한 준지도 학습이 최소한의 아키텍처 변경으로 3차원 객체 검출 성능을 향상시킬 수 있는지 조사하기 위해.
• 특히 라벨링 데이터가 부족하거나 도메인 외부인 경우인 Kirkland와 같은 환경에서의 도메인 일반화에 대해 가짜 레이블링의 효과를 평가하기 위해.
• 가짜 레이블링을 3차원 검출에 적용할 때 최적의 훈련 방법을 규명하기 위해, 티처 모델의 품질과 데이터 증강 전략을 포함하여.
• 고성능 티처 모델에서 효율적인 학생 모델로의 디스틸리케이션을 통해 아키텍처 설계 없이도 최신 기준 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 두 단계 훈련 파이프라인: 먼저, 인간 레이블링된 3차원 객체 검출 데이터의 소량을 사용해 티처 모델을 훈련시킨다.
• 훈련된 티처 모델이 대규모 비라벨링 LiDAR 데이터 코퍼스에 대해 가짜 레이블을 생성하며, 포인트 클라우드의 포인트들에 예측된 경계상자(박스)를 할당한다.
• 학습된 학생 모델—특히 두 해 전에 개발된 PointPillars 아키텍처—는 원래의 라벨링 데이터와 가짜 레이블링 데이터의 결합된 데이터로 훈련된다.
• 학생 모델은 아키텍처 수정 없이도 가짜 레이블링 예제 추가 외에 표준 검출 손실 함수를 사용해 훈련되며, 하이퍼파라미터 조정 없이도 진행된다.
• 데이터 증강이 적용되어 특히 학생 모델 훈련 중에 강건성과 일반화 능력을 향상시킨다.
• 다양한 도메인—내부 도메인(San Francisco, Mountain View, Phoenix)과 외부 도메인(Kirkland)—에서 성능을 평가하여 도메인 적응 능력을 분석한다.

실험 결과

연구 질문

• RQ1 소량의 라벨링 데이터만 존재할 경우, 가짜 레이블링이 3차원 객체 검출 성능을 크게 향상시킬 수 있는가?
• RQ2 라벨링 데이터가 전혀 없는 새로운 지리적 도메인에 대해 가짜 레이블링이 모델의 일반화 능력을 향상시키는가?
• RQ3 티처 모델의 품질이 가짜 레이블링 파이프라인에서 학생 모델의 성능에 어떤 영향을 미치는가?
• RQ4 가짜 레이블링의 성과를 극대화하기 위한 최적의 훈련 설정은 무엇인가? 데이터 증강 및 훈련 스케줄링을 포함하여.
• RQ5 PointPillars와 같은 단순하고 경량의 학생 모델이 가짜 레이블링 데이터로 훈련되었을 때, 지도 학습 설정에서는 더 복잡한 모델에 뒤지더라도 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 가짜 레이블링 데이터로 훈련된 학생 모델은 Waymo Open Dataset 테스트 세트에서 차량에 대해 74.0 L1 AP, 보행자에 대해 69.8 L1 AP를 기록하며, 지도 학습 기준 모델보다 각각 +5.4 및 +1.9 AP 높은 성능을 보였다.
• 동일한 학생 모델은 SF/MTV/PHX 도메인에서 3~10배 더 많은 라벨링 데이터로 훈련된 지도 학습 모델을 능가했으며, 차량과 보행자에 대해 각각 +9.8 및 +11.2 AP의 성과 향상을 기록했다.
• Kirkland 도메인 적응 도전 과제에서 가짜 레이블링 학생 모델은 차량에 대해 56.2 L1 AP, 보행자에 대해 36.1 L1 AP를 기록했으며, 지도 학습 기준 모델보다 각각 +7.9 및 +4.5 AP 높은 성능을 보였다.
• 다양한 데이터 증강 전략과 모델 아키텍처에 걸쳐 성능 향상이 안정적으로 유지되어, 이 방법의 일반화 능력이 뛰어나다는 것을 확인했다.
• 티처 모델의 아키텍처와 추론 품질을 향상시킬수록 학생 모델의 성능 향상이 뚜렷하게 나타나, 티처 품질이 디스틸리케이션 성공의 핵심 요소임을 입증했다.
• 부드러운 레이블링이나 다중 반복 훈련 없이, 단순하고 반복되지 않는 가짜 레이블링(고정 레이블) 방식이 가장 높은 성능을 기록했으며, 이는 다른 SSL 작업의 결과와는 정반대되는 발견이다.