[논문 리뷰] Multi-Target Domain Adaptation via Unsupervised Domain Classification for Weather Invariant Object Detection

Ting Sun, Jinlin Chen외 1명|arXiv (Cornell University)|2021. 03. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 5

한 줄 요약

이 논문은 스타일 전이와 k-means 클러스터링을 사용하여 레이블이 없는 타겟 도메인 이미지를 안개, 비, 야간 조건과 같은 기상 조건으로 비지도로 분류함으로써 기상 조건에 관계없이 안정적인 객체 검출을 위한 비지도 다중 타겟 도메인 적응 방법을 제안한다. 각 클러스터별로 별도의 스타일 전이 모델을 훈련하고 합성된 애너테이션 데이터를 생성함으로써, 도메인 레이블이 없어도 다양한 기상 조건에서 강력한 객체 검출이 가능해지며, 단순한 도메인 혼합 방법보다 뛰어난 성능을 보이며 거의 지도 학습 성능에 가까운 성능을 달성한다.

ABSTRACT

Object detection is an essential technique for autonomous driving. The performance of an object detector significantly degrades if the weather of the training images is different from that of test images. Domain adaptation can be used to address the domain shift problem so as to improve the robustness of an object detector. However, most existing domain adaptation methods either handle single target domain or require domain labels. We propose a novel unsupervised domain classification method which can be used to generalize single-target domain adaptation methods to multi-target domains, and design a weather-invariant object detector training framework based on it. We conduct the experiments on Cityscapes dataset and its synthetic variants, i.e. foggy, rainy, and night. The experimental results show that the object detector trained by our proposed method realizes robust object detection under different weather conditions.

연구 동기 및 목표

• 다양한 기상 조건으로 인한 도메인 시프트 문제를 자율 주행 객체 검출에서 해결하기 위해.
• 단일 타겟 도메인 적응 방법을 도메인 레이블이 필요 없는 다수의 레이블이 없는 타겟 도메인으로 일반화하기 위해.
• 스타일 특징의 비지도 클러스터링을 사용하여 다양한 기상 조건에 적합한 고품질 합성 훈련 데이터를 생성하는 프레임워크를 개발하기 위해.
• 도메인 불변 표현 학습을 통해 예측할 수 없는 기상 조건에서도 객체 검출기의 강건성을 향상시키기 위해.

제안 방법

• 원천 도메인(Cityscapes)과 혼합 타겟 도메인(안개, 비, 야간 이미지가 결합된 도메인) 간에 단일 MUNIT 스타일 전이 모델을 훈련한다.
• 혼합 도메인 MUNIT 모델을 사용하여 타겟 도메인 이미지에서 AdaIN 파라미터를 추출하여 스타일 특징을 표현한다.
• AdaIN 파라미터에 k-means 클러스터링을 적용하여 타겟 이미지를 비지도로 별개의 기상 도메인(k=3)으로 분류한다.
• 클러스터링된 데이터를 사용하여 각 원천-타겟 도메인 쌍(Cityscapes → 비, Cityscapes → 야간 등)에 대해 별도의 MUNIT 모델을 훈련한다.
• 각 도메인별 MUNIT 모델을 사용하여 원천 도메인 이미지에서 합성된 완전 애너테이션 타겟 도메인 이미지를 생성한다.
• 원천 도메인 이미지와 생성된 타겟 도메인 이미지를 조합한 증강 데이터셋을 사용하여 기상 조건에 관계없는 객체 검출기(Faster R-CNN)를 훈련한다.

실험 결과

연구 질문

• RQ1 지도 학습이 아닌 지도 없는 도메인 분류가 기상 조건(예: 안개, 비, 야간)과 같은 다수의 타겟 도메인을 정확히 분리할 수 있는가?
• RQ2 혼합 타겟 도메인에서 훈련된 단일 스타일 전이 모델이 스타일 특징 추출을 통해 별개의 기상 조건을 효과적으로 클러스터링할 수 있는가?
• RQ3 비지도 클러스터링을 통한 다중 타겟 도메인 적응이 단순한 도메인 혼합 대비 다양한 기상 조건에서 객체 검출 성능을 향상시키는가?
• RQ4 비지도 다중 타겟 도메인 적응이 지도 학습 성능에 얼마나 가까이 도달할 수 있는가? (검출 mAP 기준)

주요 결과

• 제안된 방법은 모든 네 도메인(Cityscapes, 비, 야간, 안개)에서 지도 학습 기준선에 1~2% 이내의 mAP 성능을 달성하여 강력한 일반화 능력을 입증한다.
• 단순한 '혼합 기반' 기준선 대비 뚜렷한 성능 향상을 보이며, 모든 타겟 도메인을 하나의 도메인으로 간주하는 것이 최적의 성능을 내지 못함을 보여준다.
• '정답 도메인' 설정(GT 레이블을 사용한 클러스터링)이 지도 학습의 상한선에 매우 가까이 도달하여 전체 프레임워크의 효과성을 검증한다.
• k=3로 설정한 k-means 클러스터링은 t-SNE 시각화와 실루엣 계수 분석을 통해 세 가지 주요 기상 조건을 성공적으로 분리함을 확인하였다.
• 제안된 방법으로 생성된 이미지는 단순 혼합 대비 실제 타겟 도메인 이미지에 더 가까운 시각적 품질을 보이며, 데이터 품질 향상을 시사한다.
• 혼합 도메인 MUNIT 모델에서 추출한 AdaIN 파라미터를 활용함으로써 효과적인 비지도 도메인 분류가 가능해졌으며, 이는 다수의 타겟 도메인에 대한 확장 가능한 적응을 가능하게 한다.