[논문 리뷰] Multi-level Domain Adaptive learning for Cross-Domain Detection

Rongchang Xie, F. Richard Yu외 3명|arXiv (Cornell University)|2019. 07. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 10

한 줄 요약

이 논문은 다양한 특징 스케일에서 다중 도메인 분류기를 사용하여 도메인 간 전역 및 국소적 특징 분포를 공동으로 정렬하는 다중 수준 도메인 적응형 Faster R-CNN을 제안한다. 이는 도메인 간 객체 검출 성능을 크게 향상시킨다. 계층적 특징 감시를 통해 더 강력한 적대적 훈련을 가능하게 하여, 안개가 있는 시티스케이프, KITTI, SIM10k 벤치마크에서 최신 기준 mAP 성능 향상을 달성한다.

ABSTRACT

In recent years, object detection has shown impressive results using supervised deep learning, but it remains challenging in a cross-domain environment. The variations of illumination, style, scale, and appearance in different domains can seriously affect the performance of detection models. Previous works use adversarial training to align global features across the domain shift and to achieve image information transfer. However, such methods do not effectively match the distribution of local features, resulting in limited improvement in cross-domain object detection. To solve this problem, we propose a multi-level domain adaptive model to simultaneously align the distributions of local-level features and global-level features. We evaluate our method with multiple experiments, including adverse weather adaptation, synthetic data adaptation, and cross camera adaptation. In most object categories, the proposed method achieves superior performance against state-of-the-art techniques, which demonstrates the effectiveness and robustness of our method.

연구 동기 및 목표

• 조명, 스타일, 스케일, 외관의 변동으로 인해 도메인 간 성능 저하가 발생하는 도메인 이동 문제를 해결한다.
• 기존 도메인 적응 방법이 국소 수준 특징을 효과적으로 정렬하지 못해 큰 도메인 이동 상황에서 최적의 검출 성능을 내지 못하는 한계를 극복한다.
• 다른 네트워크 깊이에 위치한 다중 도메인 분류기를 도입하여 도메인 간 특징 분포 정렬을 향상시킨다.
• 추론 시에는 도메인 분류기를 사용하지 않아 추론 효율성을 유지한다.
• 안개 같은 악천후, 합성 데이터, 카메라 간 이동 설정 등 다양한 도메인 간 상황에서 뛰어난 성능을 보여준다.

제안 방법

• 다양한 특징 추출 단계(예: RPN 및 ROI 풀링 레이어)에서 다중 도메인 분류기를 사용하여 특징 정렬을 감시하는 다중 수준 도메인 적응형 Faster R-CNN을 제안한다.
• 기울기 반전 레이어(GRLs)를 사용하여 엔드 투 엔드 적대적 훈련을 가능하게 하며, 도메인 분류기에서 유도된 기울기는 역방향 전파 시 반전되어 백본 네트워크를 업데이트한다.
• 다양한 스케일의 도메인 분류기를 적용하여 전역 수준 특징(이미지 수준)과 국소 수준 특징(인스턴스 수준)을 모두 정렬함으로써 도메인 이동에 대한 강건성을 향상시킨다.
• 낮은 수준의 특징 추출기들이 후속 모든 도메인 분류기의 기울기를 수신하도록 모델을 설계하여, 분류기를 속이기 위한 능력을 향상시키고 정렬 성능을 개선한다.
• t-SNE 시각화를 통해 원천 도메인과 타겟 도메인 간 특징 분포 정렬의 효과를 분석하고 검증한다.
• 모델을 훈련할 때는 원천 도메인의 애너테이션만 사용하고, 타겟 도메인의 레이블 없이 이미지만 사용하여 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 다중 도메인 분류기를 사용한 다중 수준 적대적 훈련이 도메인 간 객체 검출에서 국소 및 전역 수준 특징 정렬을 향상시키는가?
• RQ2 다중 수준 도메인 적응은 큰 도메인 이동 상황에서 단일 수준 또는 전역 수준 정렬 대비 어떻게 비교되는가?
• RQ3 다중 도메인 분류기의 사용이 안개 낀 날씨, 합성 데이터, 카메라 간 설정 등 다양한 도메인 간에서 모델의 강건성과 일반화 능력을 향상시키는가?
• RQ4 작은 도메인 이동이 발생하는 도메인에서는 다중 수준 적응이 성능 저하를 얼마나 줄이는가? 특히 도메인 적응이 불안정성을 유발할 수 있는 상황에서의 영향은?
• RQ5 다중 도메인 분류기에서 유도된 계층적 기울기 흐름이 네트워크의 다양한 깊이에서 특징 추출기의 학습 능력에 어떻게 영향을 미치는가?

주요 결과

• 안개가 있는 시티스케이프 벤치마크에서 제안된 방법은 평균 평균 정밀도(mAP) 40.7을 달성하여 베이스라인(34.0)과 DA 모델(34.4)을 크게 앞서며 악천후 환경 적응에서 뛰어난 성능을 입증한다.
• 시티스케이프에서 KITTI로의 카메라 간 적응 작업에서 제안된 방법은 mAP 40.7을 기록하여 베이스라인(34.0)과 DA 모델(34.4)을 초월하며, 특히 사람, 자전거 탑승자, 트럭의 검출 성능 향상이 두드러진다.
• SIM10k 적응 실험에서 모델은 최신 기준 성능을 달성하여 합성 데이터에서 실제 데이터로의 도메인 전이에 효과적임을 보여준다.
• t-SNE 시각화 결과, 제안된 방법이 DA 모델보다 전역 및 국소 특징을 더 효과적으로 정렬함을 확인하였으며, 특히 국소 특징의 정렬 오차를 줄이는 데 유의미한 기여를 한다.
• 모델은 가짜 양성 및 오분류를 줄이며, 예를 들어 안개 낀 조건에서 버스를 트럭으로 잘못 식별하는 것을 방지하여 정확도를 향상시킨다.
• 다중 도메인 분류기가 추론 시에는 사용되지 않아 추론 효율성이 유지된다.