[논문 리뷰] Beyond H-Divergence: Domain Adaptation Theory With Jensen-Shannon Divergence.

Changjian Shui, Qi Chen외 4명|arXiv (Cornell University)|2020. 07. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 14

한 줄 요약

이 논문은 잘못된 H-분산 기반 프레임워크를 대체하기 위해 공동 분포 Jenson-Shannon 발산(JSD)을 기반으로 한 새로운 도메인 적응 이론을 제안한다. 이 이론은 타겟 리스크에 대해 날카운 상한과 하한을 설정하여 조건부, 근원, 레이블 이동을 통합된 최적화 원칙으로 다룰 수 있게 하며, 실제 데이터셋을 활용한 실험을 통해 H-분산의 한계를 초월한 일반화 성능 향상을 입증한다.

ABSTRACT

We reveal the incoherence between the widely-adopted empirical domain adversarial training and its generally-assumed theoretical counterpart based on $\mathcal{H}$-divergence. Concretely, we find that $\mathcal{H}$-divergence is not equivalent to Jensen-Shannon divergence, the optimization objective in domain adversarial training. To this end, we establish a new theoretical framework by directly proving the upper and lower target risk bounds based on joint distributional Jensen-Shannon divergence. We further derive bi-directional upper bounds for marginal and conditional shifts. Our framework exhibits inherent flexibilities for different transfer learning problems, which is usable for various scenarios where $\mathcal{H}$-divergence-based theory fails to adapt. From an algorithmic perspective, our theory enables a generic guideline unifying principles of semantic conditional matching, feature marginal matching, and label marginal shift correction. We employ algorithms for each principle and empirically validate the benefits of our framework on real datasets.

연구 동기 및 목표

• 실제 도메인 적대적 훈련의 성능과 그 가정하는 H-분산 기반 이론 간의 이론적 불일치를 규명하는 것.
• 더 정확한 도메인 적응 리스크 한계를 제공하기 위해 Jenson-Shannon 발산을 기반으로 한 새로운 이론적 프레임워크를 수립하는 것.
• 의미적 조건부 매칭, 특징 근원 매칭, 레이블 이동 보정과 같은 다양한 전이 학습 원칙을 하나의 융통성 있는 이론적 구조 아래 통합하는 것.
• H-분산 기반 접근 방식의 한계를 초월하여 이론적으로 타당하고 유연하게 적용 가능한 도메인 적응 프레임워크를 제공하는 것.

제안 방법

• 공동 분포 Jenson-Shannon 발산을 핵심 이론적 측정치로 사용하여 타겟 리스크에 대한 상한과 하한을 유도하는 것.
• 근원 및 조건부 분포 이동에 대해 双방향 경계를 설정하여 복잡한 도메인 이동 시나리오를 분석할 수 있도록 하는 것.
• 공통의 JSD 기반 목적함수를 통해 조건부 매칭, 근원 매칭, 레이블 이동 보정을 모두 포함하는 통합 최적화 원칙을 수립하는 것.
• 각 통합 원칙에 부합하는 알고리즘을 설계 및 구현하여 프레임워크의 실증적 타당성을 검증하는 것.
• 실세계 데이터셋을 사용하여 제안된 프레임워크를 기존 H-분산 기반 방법과 비교 평가하는 것.
• JSD 기반 프레임워크가 다양한 도메인 이동 설정에서 H-분산보다 더 날카운 일반화 경계를 제공함을 입증하는 것.

실험 결과

연구 질문

• RQ1 왜 도메인 적대적 훈련의 실증적 성공은 H-분산 기반 이론적 기초와 모순되는가?
• RQ2 H-분산 대신 Jenson-Shannon 발산을 사용하여 더 정확한 도메인 적응 이론적 프레임워크를 구축할 수 있는가?
• RQ3 공동 분포 JSD는 도메인 적응에서 타겟 리스크에 대한 의미 있는 상한과 하한을 유도하는 데 어떻게 활용될 수 있는가?
• RQ4 JSD 기반 프레임워크는 조건부 매칭, 근원 매칭, 레이블 이동 보정과 같은 서로 다른 원칙을 어느 정도 통합할 수 있는가?
• RQ5 제안된 프레임워크는 다양한 도메인 이동 시나리오에서 일반화 성능 향상에 실질적인 기여를 하는가?

주요 결과

• 논문은 H-분산 이론과 도메인 적대적 훈련의 실제 최적화 목표 간에 근본적인 이론적 불일치를 규명한다. 이는 실제로 최적화가 Jenson-Shannon 발산에 기반하기 때문이다.
• 공동 분포 Jenson-Shannon 발산을 기반으로 한 새로운 이론적 프레임워크를 수립하여 타겟 리스크에 대해 더 날카운 정확한 경계를 제공한다.
• 근원 및 조건부 이동에 대해 양방향 경계를 도출하여 복잡한 도메인 이동 패tern을 포괄적으로 분석할 수 있도록 한다.
• 의미적 조건부 매칭, 특징 근원 매칭, 레이블 근원 이동 보정을 하나의 원칙적인 최적화 목표 아래 통합한다.
• 실제 데이터셋을 활용한 실험 결과, 제안된 JSD 기반 프레임워크가 다양한 도메인 적응 시나리오에서 일반화 성능을 향상시키며 H-분산 기반 접근 방식을 능가함을 확인한다.