[논문 리뷰] Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection

Deepti Hegde, Vishal M. Patel|arXiv (Cornell University)|2021. 11. 30.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 3D 객체 검출을 위한 소스 프리, 비지도 학습 도메인 적응 프레임워크를 제안하며, 자기 훈련 중 노이즈가 있는 가짜 레이블을 정제하기 위해 트랜스포머 기반의 주의형 프로토타입을 사용한다. 주목할 만한 고불확실성 영역에 초점을 맞추고 잘못된 과신된 예측을 가중치를 낮추어, 도메인 이동 상황에서 검출 mAP를 향상시킨다. Waymo→KITTI 및 nuScenes→KITTI 벤치마크에서 기존 최고 성능(SOTA)을 초월하며, mAP 향상 최대 12.5%를 기록한다.

ABSTRACT

3D object detection networks tend to be biased towards the data they are trained on. Evaluation on datasets captured in different locations, conditions or sensors than that of the training (source) data results in a drop in model performance due to the gap in distribution with the test (or target) data. Current methods for domain adaptation either assume access to source data during training, which may not be available due to privacy or memory concerns, or require a sequence of lidar frames as an input. We propose a single-frame approach for source-free, unsupervised domain adaptation of lidar-based 3D object detectors that uses class prototypes to mitigate the effect pseudo-label noise. Addressing the limitations of traditional feature aggregation methods for prototype computation in the presence of noisy labels, we utilize a transformer module to identify outlier ROI's that correspond to incorrect, over-confident annotations, and compute an attentive class prototype. Under an iterative training strategy, the losses associated with noisy pseudo labels are down-weighed and thus refined in the process of self-training. To validate the effectiveness of our proposed approach, we examine the domain shift associated with networks trained on large, label-rich datasets (such as the Waymo Open Dataset and nuScenes) and evaluate on smaller, label-poor datasets (such as KITTI) and vice-versa. We demonstrate our approach on two recent object detectors and achieve results that out-perform the other domain adaptation works.

연구 동기 및 목표

• 소스 데이터셋(예: Waymo, nuScenes)과 타겟 데이터셋(예: KITTI) 간 분포 차이로 인한 3D 객체 검출의 도메인 이동 문제를 해결한다.
• 특히 가짜 양성 결과로 인해 잘못된 프로토타입 계산이 발생하는 상황에서, 기존의 특징 집합 기반 프로토타입 계산의 한계를 극복한다.
• 소스 데이터나 순차적 라이다 프레임에 접근할 필요가 없는 소스 프리, 단일 프레임 도메인 적응 방법을 개발한다.
• 주목적 기반 프로토타입 정련을 통해 잘못된 과신된 가짜 레이블을 가중치를 낮추어 자기 훈련의 강건성을 향상시킨다.
• 소스 데이터나 프레임 시퀀스에 의존하지 않고도 다양한 3D 객체 검출 도메인 이동 시나리오에서 최고 성능을 달성한다.

제안 방법

• 어텐션 웨이트를 기반으로 특징 맵 내 주목할 만한 영역(관심 영역, ROIs)을 식별하는 트랜스포머 모듈을 사용해 클래스 프로토타입을 계산한다.
• 예측 엔트로피가 분류 불확실성과 관련되므로, 주목적 ROIs의 특징을 엔트로피 가중 평균을 통해 통합한다.
• 결과적으로 생성된 주목적 프로토타입을 사용해 각 ROIs의 유사도 점수를 계산하고, 고행위성, 잘못된 가짜 레이블을 식별 및 가중치를 낮춘다.
• 반복적인 메타 최적화를 통한 자기 훈련 루프에 정련된 가짜 레이블을 통합하여 시간이 지남에 따라 레이블 품질을 향상시킨다.
• 다중 프레임 시퀀스를 일반적으로 사용하는 이전의 3D 도메인 적응 방법과는 달리, 단일 프레임 입력을 활용한다.
• 검출 손실과 오차 전파를 억제하는 프로토타입 기반 일致성 손실의 조합을 사용해 디텍터를 엔드 투 엔드로 훈련시킨다.

Figure 1 : Top row: Visual representations of prototype computation. On the left hand side is a depiction of a standard feature aggregation approach for prototype computation. In the case of noisy labels, features corresponding to mis-labeled regions that are not discarded by outlier removal contrib

실험 결과

연구 질문

• RQ1 표준 프로토타입 계산이 노이즈가 많은 레이블로 인해 실패할 경우, 소스 프리 비지도 학습 도메인 적응에서 3D 객체 검출의 가짜 레이블 품질을 어떻게 향상시킬 수 있는가?
• RQ2 가짜 양성 주석이 존재하는 상황에서 트랜스포머 기반 어텐션 메커니즘이 신뢰할 수 있는 주목적 영역을 효과적으로 식별하고 우선순위를 정할 수 있는가?
• RQ3 주목적 기반 가중치를 적용한 반복적 자기 훈련이 도메인 적응 과정에서 오차 전파를 어느 정도 감소시키는가?
• RQ4 다양한 도메인 이동 시나리오(예: Waymo→KITTI, nuScenes→KITTI)에서 제안된 방법이 기존 SOTA 접근법 대비 mAP 측면에서 어떻게 비교되는가?
• RQ5 작은 데이터셋에서 더 큰 데이터셋으로의 적응 시, 데이터 스케일 불일치로 인해 성능이 제한되는가, 아니면 여전히 효과적인가?

주요 결과

• 제안된 방법은 Waymo→KITTI 도메인 이동에서 71.56%의 3D mAP를 달성하여 직접 전이(DT) 대비 12.5% 향상되었고, 기존 SOTA 방법을 초월한다.
• nuScenes→KITTI 이동에서는 하드 샘플에서 45.86%의 mAP를 기록하여 다양한 도메인 갭에서도 강건함을 입증한다.
• 반복적 훈련 체계는 일관된 mAP 향상을 이끌어내며, Waymo→KITTI에서 메타 반복 1회 시 57.76%에서 메타 반복 4회 시 71.56%로 향상된다.
• IoU 대 신뢰도 시각화 결과, 적응 후 잘못된 레이블은 신뢰도가 크게 낮아져(c < 0.25) 정확한 레이블은 매우 높은 신뢰도를 보이며, 가짜 레이블 품질 향상이 확인된다.
• 제거 분석 결과, 트랜스포머와 엔트로피 가중 평균을 모두 사용한 전체 방법이 평균, 자기 어텐션, 기본 트랜스포머 기반 베이스라인보다 가장 뛰어난 성능을 기록한다.
• 이 방법은 대규모, 레이블이 풍부한 데이터셋(예: Waymo)에서 소규모, 레이블이 부족한 데이터셋(예: KITTI)으로의 적응에 가장 효과적이며, 작은 데이터셋에서 큰 데이터셋으로의 적응 시에는 수익 감소가 발생한다.

Figure 2 : 3D bounding box predictions of the object detector [ 28 ] trained on Waymo [ 31 ] data and tested on KITTI [ 8 ] . Ground truth annotations are in green and predictions are in red. Thresholding (b) fails to remove all false positives present in (a). Self-training with these pseudo-labels