[논문 리뷰] Balanced Distribution Adaptation for Transfer Learning

Jindong Wang, Yiqiang Chen외 3명|arXiv (Cornell University)|2018. 07. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 23

한 줄 요약

이 논문은 전이 학습을 위한 균형 분포 적응(Balanced Distribution Adaptation, BDA)과 가중치 BDA(Weighted BDA, W-BDA)를 제안한다. BDA는 균형 잡힌 분포 차이를 적응적으로 균형 잡고 클래스 불균형 문제를 해결하면서도, 근본적인 분포 차이를 적응적으로 조정한다. BDA는 균형 인자 μ를 통해 분포 차이의 기여도를 동적으로 가중치를 매기며, 두 가지를 동일하게 취급하는 기존 방법보다 성능이 뛰어나다. W-BDA는 클래스별 가중치를 적응적으로 재조정하여 불균형 데이터셋에서 성능을 더욱 향상시킨다.

ABSTRACT

Transfer learning has achieved promising results by leveraging knowledge from the source domain to annotate the target domain which has few or none labels. Existing methods often seek to minimize the distribution divergence between domains, such as the marginal distribution, the conditional distribution or both. However, these two distances are often treated equally in existing algorithms, which will result in poor performance in real applications. Moreover, existing methods usually assume that the dataset is balanced, which also limits their performances on imbalanced tasks that are quite common in real problems. To tackle the distribution adaptation problem, in this paper, we propose a novel transfer learning approach, named as Balanced Distribution \underline{A}daptation~(BDA), which can adaptively leverage the importance of the marginal and conditional distribution discrepancies, and several existing methods can be treated as special cases of BDA. Based on BDA, we also propose a novel Weighted Balanced Distribution Adaptation~(W-BDA) algorithm to tackle the class imbalance issue in transfer learning. W-BDA not only considers the distribution adaptation between domains but also adaptively changes the weight of each class. To evaluate the proposed methods, we conduct extensive experiments on several transfer learning tasks, which demonstrate the effectiveness of our proposed algorithms over several state-of-the-art methods.

연구 동기 및 목표

• 기존 전이 학습 방법이 근본적인 분포 차이를 동일하게 취급하여 실제 환경에서 최적의 성능을 내지 못하는 한계를 해결한다.
• 전이 학습에서 자주 간과되지만 흔한 문제인 클래스 불균형 문제를 다루며, 소스 및 타겟 도메인 간의 불균형한 클래스 분포가 모델 성능을 떨어뜨리는 문제를 해결한다.
• 분포 차이의 기여도를 적응적으로 가중치를 매김으로써 기존의 여러 도메인 적응 방법을 특수 케이스로 포함하는 통합 프레임워크인 BDA를 개발한다.
• BDA를 확장하여 W-BDA를 제안함으로써 분포 적응 과정에 클래스별 가중치를 통합하여 불균형 데이터셋에서의 성능을 향상시킨다.

제안 방법

• 학습 가능한 균형 인자 μ를 사용하여 근본적 분포와 조건부 분포의 차이를 균형 잡는 새로운 전이 학습 방법인 BDA를 제안한다.
• BDA를 근본적 분포와 조건부 분포의 차이를 가중합으로 최소화하는 공동 최적화 문제로 공식화하며, MMD(최대 평균 차이)를 사용해 분포 차이를 측정한다.
• BDA의 확장으로, 분포 적응 과정에 클래스별 가중치를 통합하여 불균형한 클래스 분포에 적응적으로 대응하는 W-BDA를 도입한다.
• W-BDA에서는 가중치 MMD 손실을 사용하여 분포 차이를 최소화하면서도, 적응적인 클래스 가중치를 통해 클래스 불균형을 고려한다.
• BDA와 W-BDA를 경사 하강법을 사용하여 최적화하고, 특징 차원 d와 정규화 파라미터 λ와 같은 하이퍼파라미터를 튜닝한다.
• BDA가 JDA(μ = 0.5일 때)와 TCA(μ = 0일 때)를 특수 케이스로 포함함을 보여, 일반성과 유연성을 입증한다.

실험 결과

연구 질문

• RQ1 소스 도메인과 타겟 도메인 간의 근본적 분포와 조건부 분포 차이의 중요도를 적응적으로 균형 잡음으로써 전이 학습 성능을 어떻게 향상시킬 수 있는가?
• RQ2 제안된 BDA 방법은 기존 도메인 적응 기법을 얼마나 일반화하며, 실제 전이 학습 과제에서 그들을 어떻게 향상시키는가?
• RQ3 적응적인 클래스 가중치를 도메인 적응 과정에 통합함으로써 전이 학습에서의 클래스 불균형 문제를 효과적으로 다룰 수 있는가?
• RQ4 BDA의 균형 인자 μ는 다양한 도메인 차이를 보이는 전이 학습 과제에서 성능에 어떻게 영향을 미치는가?
• RQ5 W-BDA는 표준 BDA 및 JDA와 비교해 불균형 데이터셋에서 일관되게 성능을 향상시키는가?

주요 결과

• BDA는 모든 평가된 전이 학습 과제에서 JDA와 TCA를 뛰어넘으며, μ를 과제별로 튜닝할 경우 최고의 성능를 기록함으로써 적응적 균형 조정의 중요성을 입증한다.
• A → W 과제에서 최적의 μ는 0.8로, 조건부 분포 차이가 지배적임을 시사하며, M → U 과제에서는 μ = 0.1로 근본적 분포의 중요성이 더 크다는 것을 보여, 적응적 가중치 조정의 필요성을 입증한다.
• W-BDA는 네 가지 극도로 불균형한 과제(C→D, W→C, U→M, A→W)에서 BDA 및 JDA보다 높은 정확도를 기록했으며, JDA 대비 최대 2.89%(W→C) 및 3.39%(A→W)의 성능 향상을 기록했다.
• 균형 잡힌 과제(C→A 및 CO1→CO2)에서는 W-BDA가 BDA 및 JDA와 유사한 성능를 유지하며, 균형 잡힌 데이터에서 성능 저하 없이 안정성을 확보했다.
• 민감도 분석 결과, BDA 및 W-BDA는 특징 차원 d와 정규화 파라미터 λ에 대해 상대적으로 강인함을 보이며 실용적 사용 가능성을 뒷받침한다.
• 결과적으로 근본적 분포와 조건부 분포를 동일하게 취급하는 것(JDA 방식)은 최적의 성능를 내지 못하며, μ를 통한 적응적 가중치 조정이 일관된 성능 향상을 이끌어낸다.