[논문 리뷰] Deep Adversarial Attention Alignment for Unsupervised Domain Adaptation: the Benefit of Target Expectation Maximization

Guoliang Kang, Liang Zheng외 2명|arXiv (Cornell University)|2018. 01. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 15

한 줄 요약

이 논문은 CycleGAN 기반의 이미지 번역을 통해 모든 합성곱 레이어에서 소스 및 타겟 네트워크의 주의 맵을 정렬하고, 수정된 기대값-최대화 프레임워크를 활용해 카테고리 분포 추정을 통해 가짜 레이블을 개선함으로써, 비지도 도메인 적응을 위한 새로운 방법을 제안한다. 이 방법은 특징 수준에서 도메인 이탈을 줄이고 가짜 레이블링에서의 오류 누적을 완화함으로써 Office-31 데이터셋에서 최신 기술 대비 +2.6%의 정확도 향상을 달성한다.

ABSTRACT

In this paper, we make two contributions to unsupervised domain adaptation (UDA) using the convolutional neural network (CNN). First, our approach transfers knowledge in all the convolutional layers through attention alignment. Most previous methods align high-level representations, e.g., activations of the fully connected (FC) layers. In these methods, however, the convolutional layers which underpin critical low-level domain knowledge cannot be updated directly towards reducing domain discrepancy. Specifically, we assume that the discriminative regions in an image are relatively invariant to image style changes. Based on this assumption, we propose an attention alignment scheme on all the target convolutional layers to uncover the knowledge shared by the source domain. Second, we estimate the posterior label distribution of the unlabeled data for target network training. Previous methods, which iteratively update the pseudo labels by the target network and refine the target network by the updated pseudo labels, are vulnerable to label estimation errors. Instead, our approach uses category distribution to calculate the cross-entropy loss for training, thereby ameliorating the error accumulation of the estimated labels. The two contributions allow our approach to outperform the state-of-the-art methods by +2.6% on the Office-31 dataset.

연구 동기 및 목표

• 고수준 특징이 아닌 모든 합성곱 레이어에서 주의 맵을 정렬하여 비지도 도메인 적응에서 도메인 이탈 문제를 해결한다.
• 반복적인 레이블 보정에 의존하는 대신, 미지의 타겟 데이터의 사후 레이블 분포를 모델링하여 가짜 레이블링에서의 오류 누적을 줄인다.
• CycleGAN을 활용해 도메인 간 이미지-이미지 대응 관계를 수립함으로써 주의 맵 정렬을 위한 기반을 마련하고, 도메인 적응 성능을 향상시킨다.
• 합성곱 레이어 수준의 주의 맵 정렬과 분포 기반 레이블 추정이 함께 작용할 때 모델의 타겟 도메인 일반화 능력이 향상됨을 입증한다.

제안 방법

• 실제 소스 이미지를 타겟 도메인의 이미지로, 그리고 그 반대로도 변환하는 데 CycleGAN을 사용하여 도메인 간 이미지 대응 관계를 수립한다.
• 각 합성곱 레이어에서 소스 및 타겟 네트워크의 주의 맵 간 L2 거리 손실을 적용하여 도메인 간 이질성을 최소화한다.
• 실제 소스 데이터의 지도 레이블과 타겟 데이터의 카테고리 분포를 사용하여, 실재 및 합성 데이터 양쪽에서 타겟 네트워크를 훈련시킨다.
• 수정된 기대값-최대화 절차를 구현한다: E단계에서는 모델이 미지의 타겟 데이터의 카테고리 분포를 추정하고, M단계에서는 이러한 분포 기반의 교차 엔트로피 손실을 이용해 네트워크를 업데이트한다.
• 주의 맵 정렬 손실과 분류 손실을 동시에 최적화하여 적대적 훈련과 주의 맵 정렬을 통합한다.
• 다단계 훈련 전략을 활용하여 주의 맵 정렬을 모든 합성곱 레이어에 점진적으로 적용함으로써 훈련 안정성과 특징 불변성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 고수준 특징이 아닌 모든 합성곱 레이어에서 주의 맵을 정렬할 경우, 도메인 적응 성능 향상에 기여하는가?
• RQ2 기대값-최대화를 통해 미지의 타겟 데이터의 사후 레이블 분포를 모델링할 경우, 반복적인 가짜 레이블링 대비 오류 누적을 줄일 수 있는가?
• RQ3 CycleGAN 기반의 이미지 번역이 주의 맵 정렬을 위한 의미 있는 도메인 간 대응 관계를 수립하는 데 얼마나 효과적인가?
• RQ4 주의 맵 정렬과 분포 기반 레이블 보정 중 어느 것이 도메인 적응 정확도 향상에 더 큰 기여를 하는가?
• RQ5 주의 맵 정렬과 MMD 및 기타 주의 불일치 측정법 대비 도메인 불변 표현을 얼마나 잘 포착하는가?

주요 결과

• 제안된 방법은 Office-31 데이터셋에서 최신 기술 대비 +2.6%의 정확도 향상을 달성하여 뛰어난 도메인 적응 성능을 입증한다.
• 적대적 주의 맵 정렬은 어려운 전이 작업 D → A 에서 +2.0% 향상되고 W → A 에서는 +1.7% 향상되어 도메인 이탈에 대한 강력한 정규화 효과를 보인다.
• 주의 맵 정렬 손실은 소스와 타겟 주의 맵 간 이질성을 크게 감소시키며, 시각화 결과는 레이블이 있는 타겟 데이터만으로 훈련된 모델보다 더 우수한 정렬을 보임을 확인한다.
• L1, MMD, JMMD와 비교해 본 실험에서 주의 맵 불일치 측정으로서 L2 거리가 구조 정보를 더 잘 유지하고 노이즈 유도 손상도 방지하여 우수한 성능을 보였다.
• 절단 실험 결과, 주의 맵 정렬과 EM 기반 레이블 보정 모두가 유의미한 기여를 하며, 특히 노이즈 필터링 기능이 가장 큰 영향을 미침을 확인했다.
• 실제 및 합성 데이터를 모두 활용해 훈련한 모델이 실재 및 합성 타겟 데이터만으로 훈련한 모델보다 더 높은 정확도를 기록하여 소스 도메인으로부터의 지식 전이의 효과를 입증한다.