[논문 리뷰] Curriculum based Dropout Discriminator for Domain Adaptation

Vinod K Kurmi, Vipul Bajaj외 2명|arXiv (Cornell University)|2019. 07. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 8

한 줄 요약

이 논문은 도메인 적응을 위한 Curriculum-based Dropout Discriminator (C$\text{D}^{3}$A)를 제안한다. 이는 몬테 카를로 드롭아웃을 활용해 분포 기반의 디스커미네이터를 생성함으로써, 모델 파라미터 수를 늘리지 않고도 소스 도메인과 타겟 도메인 간의 특징 정렬을 향상시킨다. 이 방법은 Amazon-DSLR에서 5.3%의 정확도 향상을 기록하며, MADA에 비해 상당히 감소된 파라미터 수를 기반으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain adaptation is essential to enable wide usage of deep learning based networks trained using large labeled datasets. Adversarial learning based techniques have shown their utility towards solving this problem using a discriminator that ensures source and target distributions are close. However, here we suggest that rather than using a point estimate, it would be useful if a distribution based discriminator could be used to bridge this gap. This could be achieved using multiple classifiers or using traditional ensemble methods. In contrast, we suggest that a Monte Carlo dropout based ensemble discriminator could suffice to obtain the distribution based discriminator. Specifically, we propose a curriculum based dropout discriminator that gradually increases the variance of the sample based distribution and the corresponding reverse gradients are used to align the source and target feature representations. The detailed results and thorough ablation analysis show that our model outperforms state-of-the-art results.

연구 동기 및 목표

• 점추정 디스커미네이터의 한계를 해결하기 위해, 분포 기반의 디스커미네이터를 도입함으로써 적대적 도메인 적응에서의 성능을 향상시키는 것.
• 특정 클래스 기반 디스커미네이터인 MADA와 같이 큰 클래스 수를 가진 데이터셋에서 모델 복잡성과 확장성 문제를 줄이는 것.
• 드롭아웃을 앙상블 학습의 형태로 활용해 도메인 간 특징 표현의 불변성을 향상시키는 것.
• 다양한 도메인 적응 벤치마크에서 성능을 유지하면서도 확장 가능하고 파라미터 효율적인 방법을 개발하는 것.

제안 방법

• 몬테 카를로 드롭아웃을 활용해 디스커미네이터의 앙상블을 생성하고, 이를 특징 추출기 학습을 위한 분포 기반 피드백으로 활용한다.
• 커리큘럼 학습 전략을 통해 훈련 중 드롭아웃 샘플 수를 점진적으로 증가시켜 적응의 안정성과 성능을 향상시킨다.
• 디스커미네이터는 소스 특징와 타겟 특징를 구분하도록 적대적으로 훈련되며, 특징 추출기는 이를 속이도록 최적화되어 도메인 불변 표현을 촉진한다.
• 클래스 기반 방법인 MADA와 달리, 드롭아웃을 적용한 단일 디스커미네이터 네트워크를 사용함으로써 선형적인 파라미터 증가를 방지한다.
• 드롭아웃 기반 앙상블의 역전파 기울기를 활용해 소스와 타겟 특징 분포를 더 견고하게 정렬한다.
• 라벨이 부여된 소스 데이터에 대한 분류 손실과 드롭아웃 기반 디스커미네이터로부터 유도된 적대적 손실을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 몬테 카를로 드롭아웃에서 유도된 분포 기반 디스커미네이터가 점추정 디스커미네이터에 비해 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 드롭아웃 샘플링에 대한 커리큘럼 기반 훈련 스케줄이 특징 표현 정렬과 모델 안정성 향상에 기여하는가?
• RQ3 최신 기술 수준의 방법인 MADA나 GRL에 비해 제안된 방법은 성능과 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ4 프록시 $\mathcal{A}$-거리로 측정했을 때, 모델이 도메인 간 불일치를 어느 정도 감소시키는가?
• RQ5 다양한 도메인 적응 벤치마크에서 성능 향상이 통계적으로 유의미한가?

주요 결과

• C$\text{D}^{3}$A는 기준선 GRL 방법에 비해 Amazon-DSLR 적응 작업에서 5.3%의 정확도 향상을 기록한다.
• 모델은 소스 전용, GRL, MADA 기준선에 비해 프록시 $\mathcal{A}$-거리 감소를 더 효과적으로 달성하여 더 강한 도메인 불변성을 나타낸다.
• C$\text{D}^{3}$A는 Office-31 데이터셋에서 약 59M 파라미터로 최신 기술 수준의 성능을 달성했으며, MADA의 약 98M 파라미터보다 상당히 적은 수치를 기록한다.
• 모델의 성능은 일정 수의 훈련 에포크 이후 포화 상태에 도달하여 안정적인 수렴을 보이며, D$\text{D}^{3}$A와 달리 과도한 샘플링으로 인한 성능 저하가 발생하지 않는다.
• 통계적 유의성 검정 결과, C$\text{D}^{3}$A는 GRL 및 소스 전용 기준선을 0.05 유의 수준에서 뛰어넘는 것으로 확인되었다.
• t-SNE 시각화 결과, C$\text{D}^{3}$A에 의해 적응된 특징는 GRL에 의해 적응된 특징보다 더 도메인 불변성을 보이며, 개선된 특징 정렬을 확인할 수 있다.