[논문 리뷰] Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling

Zhuoxiao Chen, Yadan Luo외 3명|arXiv (Cornell University)|2023. 07. 16.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중 클래스 설정에서 성능 저하 문제를 해결하기 위해 신뢰할 수 있고 다양한, 클래스가 균형 잡힌 가짜 레이블을 생성하는 새로운 프레임워크인 ReDB를 제안한다. 교차 도메인 검토(CDE)를 통해 레이블 신뢰도를 확보하고, 겹치는 박스 수세기(OBC)를 통해 기하학적 다양성을 확보하며, 클래스 균형 잡힌 자기학습을 통해 성능을 햖थ한다. 기존 최고 성능(SOTA) 방법보다 nuScenes→KITTI 벤치마크에서 mAP를 23.15% 향상시켰다.

ABSTRACT

Unsupervised domain adaptation (DA) with the aid of pseudo labeling techniques has emerged as a crucial approach for domain-adaptive 3D object detection. While effective, existing DA methods suffer from a substantial drop in performance when applied to a multi-class training setting, due to the co-existence of low-quality pseudo labels and class imbalance issues. In this paper, we address this challenge by proposing a novel ReDB framework tailored for learning to detect all classes at once. Our approach produces Reliable, Diverse, and class-Balanced pseudo 3D boxes to iteratively guide the self-training on a distributionally different target domain. To alleviate disruptions caused by the environmental discrepancy (e.g., beam numbers), the proposed cross-domain examination (CDE) assesses the correctness of pseudo labels by copy-pasting target instances into a source environment and measuring the prediction consistency. To reduce computational overhead and mitigate the object shift (e.g., scales and point densities), we design an overlapped boxes counting (OBC) metric that allows to uniformly downsample pseudo-labeled objects across different geometric characteristics. To confront the issue of inter-class imbalance, we progressively augment the target point clouds with a class-balanced set of pseudo-labeled target instances and source objects, which boosts recognition accuracies on both frequently appearing and rare classes. Experimental results on three benchmark datasets using both voxel-based (i.e., SECOND) and point-based 3D detectors (i.e., PointRCNN) demonstrate that our proposed ReDB approach outperforms existing 3D domain adaptation methods by a large margin, improving 23.15% mAP on the nuScenes $ ightarrow$ KITTI task. The code is available at https://github.com/zhuoxiao-chen/ReDB-DA-3Ddet.

연구 동기 및 목표

• 낮은 품질의 가짜 레이블과 클래스 불균형으로 인한 다중 클래스 3D 도메인 적응에서의 심각한 성능 저하 문제를 해결한다.
• 교차 도메인 3D 검출에서 환경적, 객체적 이동의 영향을 완화한다.
• 다양한 기하학적 및 분포적 이동에 대응하는 검출 강건성을 향상시키는 자기학습 프레임워크를 개발한다.
• 원천 도메인과 타겟 도메인의 예측을 검증함으로써 신뢰할 수 있는 가짜 레이블링을 보장한다.
• 진행적인 클래스 균형 잡힌 데이터 증강을 통해 흔한 클래스와 희귀 클래스 모두의 인식을 균형 있게 확보한다.

제안 방법

• 가짜 레이블링의 신뢰도를 높이기 위해, 타겟 도메인의 가짜 레이블링 객체를 원천 도메인으로 복사하고, IoU를 통해 예측 일관성을 측정하는 교차 도메인 검토(CDE) 기법을 도입한다.
• 기하학적 다양성을 정량화하고 스케일, 밀도, 가림 정도 수준에서 균일한 다운샘플링을 가능하게 하기 위해, 겹치는 박스 수세기(OBC) 메트릭을 설계한다.
• 희귀 클래스 검출을 향상시키기 위해, 타겟 포인트 클라우드에 가짜 레이블링 인스턴스와 원천 객체의 균형 잡힌 조합을 점진적으로 증강하는 클래스 균형 잡힌 자기학습 전략을 구현한다.
• CDE를 δ_cde 임계값을 사용하여 적용하여 원천 도메인과 타겟 도메인 예측 간 일관성이 낮은 가짜 레이블을 기각한다.
• OBC를 활용해 기하학적 특징(크기, 거리, 가림 정도 등)에서 높은 다양성을 보이는 객체가 유지되도록 가짜 레이블을 다운샘플링한다.
• ReDB 프레임워크를 범용 기반(예: SECOND) 및 포인트 기반(예: PointRCNN) 검출기와 통합하여, 모델에 종속되지 않는 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 환경적, 객체적 이동이 발생하는 3D 도메인 적응 상황에서 가짜 레이블의 신뢰도를 어떻게 향상시킬 수 있는가?
• RQ2 유사한 객체 유형에 대한 모델 붕괴를 방지하기 위해, 가짜 레이블링된 3D 객체의 기하학적 다양성을 효과적으로 측정할 수 있는 메트릭은 무엇인가?
• RQ3 클래스 균형 잡힌 자기학습 전략이 도메인 이동 하에서 다중 클래스 3D 검출의 희귀 클래스 성능 향상에 실제로 기여하는가?
• RQ4 제안된 방법이 다양한 3D 검출기 아키텍처(박막 기반 대비 포인트 기반)에 얼마나 일반화되는가?
• RQ5 CDE IoU 임계값 및 OBC 다운샘플링 비율과 같은 하이퍼파rameter의 변화에 대해 ReDB의 성능는 얼마나 민감한가?

주요 결과

• ReDB는 기존 SOTA 방법인 ST3D보다 nuScenes→KITTI 벤치마크에서 mAP를 23.15% 향상시켰다.
• PointRCNN 기반으로는 중간 및 고난이도 검출 임계값에서 각각 mAP를 23.32%와 24.11% 향상시켜 ST3D++ 및 전용 단일 클래스 방법을 뛰어넘었다.
• 제거 실험 결과, ReDB의 각 구성 요소(CDE, OBC, 클래스 균형 잡힌 학습)를 제거할 경우 mAP가 뚜렷이 감소함을 확인하여 각 모듈의 기여도를 검증했다.
• CDE 메커니즘은 일관성이 낮은 가짜 레이블의 30–40%를 기각함으로써 오류 누적을 줄이고 레이블 품질을 크게 향상시켰다.
• OBC 기반 다운샘플링은 다양한 기하학적 특징을 유지하며, 높은 OBC를 보이는 객체(예: 크고 멀리 떨어져 있거나 가려진 객체)가 우선적으로 보존됨을 확인했다.
• 하이퍼파rameter 변화에 대해 높은 내구성을 보였으며, δ_cde가 0.3에서 0.6 사이에서 변할 경우 mAP 변동 폭이 단지 2.69%에 그쳤고, 높은 다운샘플링 비율(d=10)에서도 허용 가능한 성능 저하를 보였다.