[논문 리뷰] Keep it Simple: Image Statistics Matching for Domain Adaptation

Alexey Abramov, Christopher Bayer외 1명|arXiv (Cornell University)|2020. 05. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 16

한 줄 요약

이 논문은 적대적 훈련이나 아키텍처 변경 없이, 색상 히스토그램 또는 특징의 평균과 공분산을 활용해 소스 도메인과 타겟 도메인 간의 전역 이미지 통계를 매칭함으로써 객체 검출을 위한 단순하면서도 효과적인 도메인 적응 방법을 제안한다. 특징 분포 매칭(FDM)과 히스토그램 매칭(HM)을 통해 색상 히스토그램 또는 특징의 평균과 공분산을 정규화함으로써, 시뮬레이션에서 실세계로, 실세계에서 실세계로의 이행을 포함한 다양한 도메인 시프트 시나리오에서 최신 기술 수준의 성능을 달성하며, 계산 비용은 최소화되고 추가 하이퍼파라미터나 타겟 데이터의 레이블이 필요로 하지 않는다.

ABSTRACT

Applying an object detector, which is neither trained nor fine-tuned on data close to the final application, often leads to a substantial performance drop. In order to overcome this problem, it is necessary to consider a shift between source and target domains. Tackling the shift is known as Domain Adaptation (DA). In this work, we focus on unsupervised DA: maintaining the detection accuracy across different data distributions, when only unlabeled images are available of the target domain. Recent state-of-the-art methods try to reduce the domain gap using an adversarial training strategy which increases the performance but at the same time the complexity of the training procedure. In contrast, we look at the problem from a new perspective and keep it simple by solely matching image statistics between source and target domain. We propose to align either color histograms or mean and covariance of the source images towards the target domain. Hence, DA is accomplished without architectural add-ons and additional hyper-parameters. The benefit of the approaches is demonstrated by evaluating different domain shift scenarios on public data sets. In comparison to recent methods, we achieve state-of-the-art performance using a much simpler procedure for the training. Additionally, we show that applying our techniques significantly reduces the amount of synthetic data needed to learn a general model and thus increases the value of simulation.

연구 동기 및 목표

• 학습(소스) 데이터 분포와 배포(타겟) 데이터 분포 간의 도메인 시프트로 인한 객체 검출 성능 저하 문제를 해결한다.
• 복잡한 적대적 훈련이나 아키텍처 수정에 의존하는 기존 비지도 도메인 적응 방법의 한계를 극복한다.
• 단순한 전역 이미지 통계 정렬이 계산 비용을 최소화하고 추가 하이퍼파라미터가 없이 도메인 갭을 크게 줄일 수 있음을 보여준다.
• 이 방법을 적용함으로써 대량의 합성 학습 데이터가 필요로 하는 양을 줄일 수 있으며, 시뮬레이션 기반 데이터 생성의 가치를 높인다.
• 자율주행 벤치마크에서 시뮬레이션에서 실세계로, 실세계에서 실세계로의 이행을 포함한 다양한 도메인 시프트 시나리오에서 방법의 유효성을 검증한다.

제안 방법

• 일반화된 색상 전이 기법을 사용하여 소스 도메인과 타겟 도메인 간의 색상 채널 또는 딥 특징의 평균과 공분산을 매칭하기 위해 특징 분포 매칭(FDM)을 적용한다.
• 전역 색상 분포를 소스 이미지와 타겟 이미지 간에 매칭함으로써, 강도와 색상 통계에서의 시각적 유사성을 확보하기 위해 히스토그램 매칭(HM)을 사용한다.
• 객체 검출기 아키텍처나 훈련 절차에 변화를 주지 않고, 소스 도메인의 훈련 입력 이미지만 수정한다.
• FDM과 HM을 상호 배타적(OR) 및 덧셈형(AND) 조합 형태로 결합하여 도메인 정렬에 대한 상호보완적 효과를 탐색한다.
• 수정된 소스 이미지에서 Faster R-CNN 검출기를 훈련하고, 평가에는 레이블이 없는 타겟 이미지만 사용하여 도메인 적응 성능을 평가한다.
• 검출기 그대로 유지함으로써 모델에 종속되지 않는 방법을 확보하여, SSD나 YOLO와 같은 다른 모델에도 적용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 특징의 평균과 공분산 또는 색상 히스토그램을 포함한 전역 이미지 통계 정렬이, 적대적 훈련 없이 도메인 시프트를 효과적으로 줄일 수 있는가?
• RQ2 DA Faster R-CNN 및 Strong-Weak DA와 같은 최신 기술 수준의 방법과 비교해 FDM과 HM의 성능는 다양한 도메인 시프트 시나리오에서 어떻게 나타나는가?
• RQ3 FDM과 HM을 적용함으로써, 시뮬레이션 기반 학습에서 양호한 일반화 성능를 달성하기 위해 필요한 합성 데이터의 양을 얼마나 줄일 수 있는가?
• RQ4 FDM과 HM을 결합하면 단독으로 사용할 경우보다 성능 향상이 이루어지는가? 만약 그렇다면, 어떤 조합 형태(OR 대비 AND)에서 개선 효과가 가장 뚜렷한가?
• RQ5 제안된 방법은 자율주행 벤치마크에서 시뮬레이션에서 실세계로, 실세계에서 실세계로의 이행을 포함한 다양한 도메인 시프트에 효과적으로 적용될 수 있는가?

주요 결과

• GTA에서 Cityscapes로의 이행에서, FDM과 HM의 조합은 34.00 mAP를 기록하여 같은 설정에서 DA Faster R-CNN(30.81 mAP)과 Strong-Weak DA(32.96 mAP)를 모두 초월했다.
• Cityscapes에서 Foggy Cityscapes로의 이행에서는 FDM과 HM 조합이 41.22 mAP를 기록하여 DA Faster R-CNN(38.50 mAP)를 뛰어넘었으며, 기본 Faster R-CNN(34.97 mAP) 대비 2.7% 향상되었다.
• KITTI에서 Cityscapes로의 이행 시나리오에서는 최고 성능를 기록한 FDM 또는 HM 버전이 차량 클래스에 대해 66.93% AP를 기록하여 DA Faster R-CNN(64.10%) 대비 3% 향상되었고, 기본 Faster R-CNN(64.61%) 대비 13% 향상되었다.
• 상호 배타적 조합(FDM 또는 HM)은 개별 방법보다 일관되게 뛰어난 성능를 보였으며, 모든 테스트된 도메인 시프트에서 최고의 성능를 기록했다.
• 합성 데이터에 FDM과 HM을 적용함으로써, 원래의 합성 데이터보다 다섯 배 더 많은 데이터를 사용하는 것과 동일한 성능를 달성하기 위해 필요한 데이터량을 다섯 분의 일로 줄일 수 있었으며, 이는 본 방법의 데이터 효율성을 입증한다.
• 모델에 종속되지 않게 아키텍처 수정 없이, 적대적 훈련 없이, 추가 하이퍼파라미터 조정 없이도 모든 평가된 도메인 시프트 시나리오에서 최신 기술 수준의 성능를 달성했다.