[논문 리뷰] Domain-Adversarial Neural Networks

Hana Ajakan, Pascal Germain외 3명|arXiv (Cornell University)|2014. 12. 15.

Anomaly Detection Techniques and Applications참고 문헌 18인용 수 246

한 줄 요약

이 논문은 도메인 적응을 향상시키기 위해 적대적 손실을 통해 도메인 불변 표현을 학습하는 딥 러닝 프레임워크인 도메인 적대적 신경망(DANN)을 제안한다. 이 방법은 감성 분석 벤치마크에서 표준 신경망과 SVM보다 우수한 성능을 보이며, 특히 고정된 스택형 노이즈 제거 autoencoder(mSDA)와 조합할 경우 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

We introduce a new representation learning algorithm suited to the context of domain adaptation, in which data at training and test time come from similar but different distributions. Our algorithm is directly inspired by theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on a data representation that cannot discriminate between the training (source) and test (target) domains. We propose a training objective that implements this idea in the context of a neural network, whose hidden layer is trained to be predictive of the classification task, but uninformative as to the domain of the input. Our experiments on a sentiment analysis classification benchmark, where the target domain data available at training time is unlabeled, show that our neural network for domain adaption algorithm has better performance than either a standard neural network or an SVM, even if trained on input features extracted with the state-of-the-art marginalized stacked denoising autoencoders of Chen et al. (2012).

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 관련된 분포이지만 다른 분포에서 온 도메인 이동 문제를 해결하기 위해.
• 라벨이 부여된 소스 도메인에서 레이블이 없는 타겟 도메인으로 효과적으로 전이가 가능한 표현 학습 알고리즘을 개발하기 위해.
• 특히, 좋은 표현은 도메인 간에 구별될 수 없어야 한다는 도메인 적응 이론적 통찰을 딥 뉴럴 네트워크 프레임워크에 구현하기 위해.
• 학습 중 타겟 레이블이 이용 불가능한 반면에, 반도체 학습 환경에서 일반화 성능을 향상시키기 위해.

제안 방법

• 분류 정확도와 은닉층에서의 도메인 불변성에 동시에 최적화하는 도메인 적대적 훈련 목표를 도입한다.
• 입력의 소스 레이블을 예측하는 헤드와 도메인(소스 또는 타겟)을 예측하는 헤드를 갖춘 신경망을 훈련한다.
• 기울기 반전을 사용하여 도메인 식별자로부터의 기울기를 역방향으로 역전파함으로써, 특징 추출기가 도메인에 대해 정보를 주지 않는 표현을 학습하도록 유도한다.
• 은닉층에 도메인 적대적 정규화를 적용하여, 도메인 분류기가 소스 및 타겟 예제를 구별할 수 있는 능력을 최소화한다.
• 표현 품질과 도메인 불변성을 추가로 향상시키기 위해 DANN을 고정된 스택형 노이즈 제거 autoencoder(mSDA)와 조합한다.
• DANN이 소스 및 타겟 도메인 표현 간의 통계적 산란을 줄임을 실증적으로 검증하기 위해, Proxy A-distance(PAD)라는 대체 지표를 사용한다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 사용하여 딥 뉴럴 네트워크에서 효과적인 도메인 적응을 위한 도메인 불변 표현을 학습할 수 있는가?
• RQ2 은닉층에서 도메인 불변성을 강제하면, 표준 신경망이나 SVM보다 레이블이 없는 타겟 데이터에서 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 mSDA와 같은 최신 기술의 표현 학습 방법과 비교할 때, DANN은 도메인 분산과 분류 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 DANN을 mSDA와 효과적으로 조합하여 도메인 불일치를 추가로 줄이고 성능을 향상시킬 수 있는가?
• RQ5 Proxy A-distance(PAD)는 실제 도메인 적응 성능과 어느 정도 상관관계가 있는가?

주요 결과

• DANN은 아마존 리뷰 감성 분석 벤치마크에서 표준 신경망과 SVM보다 뛰어난 성능을 보이며, 다음으로 우수한 방법보다 1.7%p 높은 정확도를 기록했다.
• mSDA 표현과 조합했을 때 DANN은 최신 기술(SOTA) 성능을 달성했으며, 포isson 이항 검정에 따르면 표준 신경망을 능가할 확률이 0.82, SVM을 능가할 확률이 0.88로 나타났다.
• DANN 표현을 사용할 경우 원시 데이터나 표준 신경망 특징보다 Proxy A-distance(PAD)가 유의미하게 감소하여 도메인 분산이 감소했음을 확인했다.
• mSDA 표현만 사용하는 것보다 DANN 표현이 더 낮은 PAD 값을 기록하여, mSDA가 도메인 식별성을 줄이지 않는 반면 DANN이 도메인 불변성을 명시적으로 감소시킴을 시사한다.
• mSDA와 DANN의 조합은 PAD를 상당히 낮추었으며, 이는 상호보완적인 이점이 있음을 시사한다: mSDA는 노이즈에 대한 강건성을 향상시키고, DANN은 도메인 불변성을 강화한다.
• 다양한 하이퍼파rameter 설정에 대해 안정적인 성능 향상을 보이며, 여러 시행 및 설정에서 일관된 성능 향상이 관찰되었다.