[논문 리뷰] Generalizing Across Domains via Cross-Gradient Training

Shiv Shankar, Vihari Piratla외 4명|arXiv (Cornell University)|2018. 04. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 268

한 줄 요약

CrossGrad는 도메인 가이드 입력 섭동 및 라벨-도메인 공동 학습으로 타깃 도메인 데이터나 명시적 도메인 특징 없이도 보이지 않는 도메인으로 일반화합니다. 이는 여러 작업에서 도메인 적대적 방법과 일반적 섭동 방법보다 우수한 성능을 보입니다.

ABSTRACT

We present CROSSGRAD, a method to use multi-domain training data to learn a classifier that generalizes to new domains. CROSSGRAD does not need an adaptation phase via labeled or unlabeled data, or domain features in the new domain. Most existing domain adaptation methods attempt to erase domain signals using techniques like domain adversarial training. In contrast, CROSSGRAD is free to use domain signals for predicting labels, if it can prevent overfitting on training domains. We conceptualize the task in a Bayesian setting, in which a sampling step is implemented as data augmentation, based on domain-guided perturbations of input instances. CROSSGRAD parallelly trains a label and a domain classifier on examples perturbed by loss gradients of each other's objectives. This enables us to directly perturb inputs, without separating and re-mixing domain signals while making various distributional assumptions. Empirical evaluation on three different applications where this setting is natural establishes that (1) domain-guided perturbation provides consistently better generalization to unseen domains, compared to generic instance perturbation methods, and that (2) data augmentation is a more stable and accurate method than domain adversarial training.

연구 동기 및 목표

• 타깃 도메인 적응 없이도 보이지 않는 도메인으로 일반화하기 위해 다도메인 데이터로부터 학습을 고무한다.
• 도메인 손실 기울기에 따라 입력을 섭동시키는 도메인 가이드 데이터 증강 방법을 제안한다.
• 훈련 도메인에 과적합하는 것을 피하면서도 인도메인 예측에 유용한 도메인 신호를 보존한다.
• 필기, 글꼴 인식, MNIST 회전 및 음성 단어 작업에서 경험적 일반화 향상을 시연한다.

제안 방법

• 잠재 도메인 특징 g를 통해 입력 x가 레이블 y와 도메인 d의 영향을 받는다고 모델링한다.
• 도메인 분류기 G를 사용하여 x에서 연속 도메인 특성 g를 추출하고 d를 예측한다.
• 도메인 손실 기울기의 방향으로 x를 섭동하여 서로 다른 도메인 특성을 가진 보강 샘플을 생성한다.
• 교차 섭동 데이터를 사용하여 라벨 및 도메인 분류기를 학습시켜 훈련 도메인에 대한 과적합을 방지한다.
• 교차 그래디언트를 갖는 두 목표 J_l(라벨)와 J_d(도메인)의 교대 업데이트로 학습을 공식화한다.
• 네 가지 데이터셋에서 학습/테스트 도메인이 서로 다른 기준으로 CrossGrad를 Baseline, DAN 및 LabelGrad와 비교 평가한다.

실험 결과

연구 질문

• RQ1 CrossGrad가 명시적 타깃 도메인 데이터나 도메인 특징 없이도 보이지 않는 도메인으로 일반화할 수 있는가?
• RQ2 도메인 가이드 섭동이 일반화를 향상시키는가, 일반적 섭동이나 도메인-적대적 접근 방식보다 더 나은가?
• RQ3 CrossGrad가 다양한 작업(폰트/손글씨 인식, MNIST 회전, 음성 명령) 및 아키텍처에서 어떤 성능을 보이는가?
• RQ4 학습 도메인의 수 등 어떤 학습 조건에서 CrossGrad가 가장 효과적인가?

주요 결과

방법 이름	Fonts	손글씨	MNIST	음성
Baseline	68.5	82.5	95.6	72.6
DAN	68.9	83.8	98.0	70.4
LabelGrad	71.4	86.3	97.8	72.7
CrossGrad	72.6	88.6	98.6	73.5

• CrossGrad는 네 가지 데이터셋 전반에서 Baseline, DAN, LabelGrad보다 정확도를 향상시킨다.
• Fonts, Handwriting, MNIST, Speech에서 CrossGrad의 정확도는 72.6, 88.6, 98.6, 73.5로 기록되며(Baseline: 68.5, 82.5, 95.6, 72.6) 차이가 있다.
• CrossGrad는 Fonts와 Handwriting에 대해 서로 다른 아키텍처(LeNet 및 ResNet)에서도 이득을 유지한다.
• 학습 도메인의 수가 적을수록 CrossGrad의 성능 향상은 더 크고, 도메인 커버리지가 늘어나면서 감소한다.
• 도메인 적대적 네트워크(DAN)는 이 설정에서 불안정한 이득을 제공하고 조정이 어렵다.
• LabelGrad는 유용하지만 일반적으로 CrossGrad보다 개선폭이 작고 도메인 다양성이 커질수록 효과가 감소한다.