[논문 리뷰] Domain Aggregation Networks for Multi-Source Domain Adaptation

Junfeng Wen, Russell Greiner외 1명|arXiv (Cornell University)|2020. 07. 12.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 도메인 불일치를 최소화하기 위해 이론적으로 탄탄한 최적화 절차를 통해 적응형 도메인 가중치를 학습하는 새로운 다중 소스 도메인 적응 프레임워크인 도메인 집합망(DARN)을 제안한다. DARN은 훈련 중에 관련성이 높은 소스 도메인을 동적으로 강조함으로써 감성 분석 및 숫자 인식 벤치마크에서 최신 기술보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

In many real-world applications, we want to exploit multiple source datasets of similar tasks to learn a model for a different but related target dataset -- e.g., recognizing characters of a new font using a set of different fonts. While most recent research has considered ad-hoc combination rules to address this problem, we extend previous work on domain discrepancy minimization to develop a finite-sample generalization bound, and accordingly propose a theoretically justified optimization procedure. The algorithm we develop, Domain AggRegation Network (DARN), is able to effectively adjust the weight of each source domain during training to ensure relevant domains are given more importance for adaptation. We evaluate the proposed method on real-world sentiment analysis and digit recognition datasets and show that DARN can significantly outperform the state-of-the-art alternatives.

연구 동기 및 목표

• 다양한 관련성 수준을 가진 다수의 소스 도메인을 효과적으로 통합하여 목표 도메인에 대한 일반화를 달성하는 데 도전하는 다중 소스 도메인 적응 문제를 해결하기 위해.
• 유한 표본 설정에서 다수의 소스 도메인 간의 도메인 불일치를 최소화할 수 있는 이론적으로 타당한 방법을 개발하기 위해.
• 수동적 또는 고정된 조합 규칙에 의존하는 대신, 훈련 중에 최적의 도메인 가중치를 학습함으로써 모델 성능을 향상시키기 위해.
• 유의미한 소스 도메인들이 최종 모델에 더 많이 기여하도록 보장하는 원칙적인 최적화 절차를 제공하기 위해.

제안 방법

• DARN은 다수의 소스 도메인 간의 도메인 불일치를 최소화할 수 있도록 도메인 가중치 학습을 이끄는 유한 표본 일반화 경계를 수립한다.
• 이 방법은 소스 도메인의 목표 도메인에 대한 관련성에 따라 훈련 중에 각 도메인의 기여도를 동적으로 조정할 수 있는 학습 가능한 가중치 메커니즘을 도입한다.
• 신경망 아키텍처를 사용하여 종단 간(end-to-end)으로 최적화되는 도메인 불일치 최소화 목표를 채택한다.
• 도메인 특징을 공유 표현 공간과 통합하여 효과적인 도메인 정렬을 가능하게 한다.
• 최적화 과정은 이론적 분석에 기반하여 유한 표본 환경에서의 일반화 성능을 보장한다.
• 학습된 주의 유사 가중치를 사용하여 다수의 소스 도메인에서의 특징을 미분 가능한 집합 메커니즘으로 통합한다.

실험 결과

연구 질문

• RQ1 다중 소스 도메인 적응 성능을 향상시키기 위해 도메인 가중치를 어떻게 적응적으로 학습할 수 있는가?
• RQ2 유한 표본 설정에서 다수의 소스 도메인을 고려할 때 도메인 불일치 최소화에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 통합 최적화 절차가 다중 소스 도메인 적응에서 수동적 조합 규칙을 능가할 수 있는가?
• RQ4 제안된 방법은 감성 분석 및 숫자 인식과 같은 다양한 실세계 데이터셋에서 어떻게 일반화되는가?
• RQ5 소스 도메인 기여도를 동적으로 조정함으로써 모델 정확도와 강건성에 어떤 영향을 미치는가?

주요 결과

• DARN은 실세계 감성 분석 데이터셋에서 최신 기술보다 뚜렷한 성능 향상을 보이며, 뛰어난 도메인 적응 능력을 입증한다.
• 특히 소스 도메인과 목표 도메인 간의 도메인 이동이 높은 상황에서 숫자 인식 벤치마크에서 기존 접근법을 능가한다.
• 적응형 도메인 가중치 메커니즘은 관련성이 높은 소스 도메인을 강조하고 잡음이나 관련성이 없는 도메인을 억제함으로써 더 효과적인 특징 학습을 가능하게 한다.
• 이론적 일반화 경계는 최적화 과정에 원칙적인 기반을 제공하여 모델의 안정성과 수렴성을 향상시킨다.
• 실험 결과는 학습된 도메인 가중치가 도메인 관련성과 상관관계가 있음을 확인하여 메커니즘 설계의 타당성을 검증한다.
• 제거 실험(ablation study) 결과, 적응형 가중치 메커니즘을 제거할 경우 성능 저하가 명백하게 나타나 그 중요성을 확인한다.