[논문 리뷰] XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup

Xingjian Li, Haoyi Xiong외 3명|arXiv (Cornell University)|2020. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 20인용 수 7

한 줄 요약

XMixup는 혼합 기법을 사용하여 소스 도메인의 의미적으로 정렬된 보조 샘플과 타겟 도메인 샘플을 혼합함으로써 딥 네ural 네트워크 성능을 햖थ하는 새로운 효율적인 전이 학습 방법을 제안한다. 미세조정 중에 도메인 간 샘플을 결합함으로써 XMixup는 최신 기술 대비 평균 1.9%의 정확도 향상을 이끌어내며, 학습 시간을 단축하고 비용이 많이 드는 중간 조정 단계를 피한다.

ABSTRACT

Transferring knowledge from large source datasets is an effective way to fine-tune the deep neural networks of the target task with a small sample size. A great number of algorithms have been proposed to facilitate deep transfer learning, and these techniques could be generally categorized into two groups - Regularized Learning of the target task using models that have been pre-trained from source datasets, and Multitask Learning with both source and target datasets to train a shared backbone neural network. In this work, we aim to improve the multitask paradigm for deep transfer learning via Cross-domain Mixup (XMixup). While the existing multitask learning algorithms need to run backpropagation over both the source and target datasets and usually consume a higher gradient complexity, XMixup transfers the knowledge from source to target tasks more efficiently: for every class of the target task, XMixup selects the auxiliary samples from the source dataset and augments training samples via the simple mixup strategy. We evaluate XMixup over six real world transfer learning datasets. Experiment results show that XMixup improves the accuracy by 1.9% on average. Compared with other state-of-the-art transfer learning approaches, XMixup costs much less training time while still obtains higher accuracy.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인의 지식을 더 효과적으로 통합함으로써 전이 학습에서 치명적인 잊음과 부정적 전이 문제를 해결하고자 한다.
• 소스 데이터에 대한 명시적 중간 조정 또는 추가 백프로파게이션의 필요성을 제거함으로써 다중 작업 전이 학습의 계산 비용을 줄이고자 한다.
• 혼합된 샘플을 한 번의 미세조정 단계만으로 사용하는 경량이고 효율적인 방법을 개발하여 모델의 일반화 능력을 향상시키고자 한다.
• 저자료 전이 학습 환경에서 도메인 간 혼합이 표준 데이터 증강 기법보다 더 효과적인지 조사하고자 한다.

제안 방법

• XMixup는 타겟 데이터셋의 각 클래스와 의미적으로 정렬된 소스 데이터셋의 보조 샘플을 선택한다.
• 각 타겟 클래스에 대해, Beta 분포(매개수 α)를 사용하여 타겟 클래스의 이미지와 해당 소스 클래스의 이미지를 선형으로 내삽함으로써 혼합된 학습 샘플을 생성한다.
• 혼합된 데이터는 별도의 사전학습 또는 중간 조정 단계 없이 단일 종단 간 학습 단계에서 모델을 미세조정하는 데 사용된다.
• 혼합 과정에서 소스 및 타겟 레이블을 모두 사용함으로써 지도 기반 혼합을 통해 소스 도메인의 지식을 활용한다.
• Beta 분포에서 β는 고정된 1로 설정하고, α를 변화시켜 소스 및 타겟 샘플 간 혼합 가중치를 제어한다.
• 이 방법은 하이퍼파rameter 선택과 보조 샘플 선택 전략에 대해 강건하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 도메인 간 혼합이 표준 데이터 증강 기법이나 단순한 미세조정 대비 전이 학습 성능 향상에 더 효과적인가?
• RQ2 혼합을 통한 소스 도메인 지식 통합이 타겟 데이터 증강에만 의존하는 방법보다 더 나은 일반화를 이끌어내는가?
• RQ3 XMixup는 혼합 하이퍼파rameter α의 선택에 얼마나 민감한가? 다양한 도메인 유사성에 대해 최적의 범위는 무엇인가?
• RQ4 XMixup의 효과는 도메인 간 혼합 덕분인가, 아니면 타겟 데이터만으로도 동일한 결과를 낼 수 있는 도메인 내 혼합이었는가?
• RQ5 보조 샘플의 레이블 정보가 XMixup의 성능 향상에 얼마나 기여하는가?

주요 결과

• XMixup는 최신 기술 대비 여섯 개의 실세계 전이 학습 데이터셋에서 평균 1.9%의 분류 정확도 향상을 달성한다.
• 학습 시간이 크게 단축되었음에도 불구하고 최신 기술보다 높은 정확도를 기록하여 뛰어난 효율성을 입증한다.
• α 값의 넓은 범위에서 성능이 안정적으로 유지되어 하이퍼파ram터 조정에 대해 낮은 민감도를 보인다.
• 도메인 간 혼합을 제거한 경우(즉, 도메인 내 혼합만 사용한 경우) 평균 2.7%의 정확도 감소가 발생하여 도메인 간 혼합이 필수적임을 입증한다.
• 보조 샘플의 레이블을 제거하면 평균 5.2%의 성능 저하가 발생하여 소스 도메인 지식이 XMixup 성공의 핵심임을 확인한다.
• 랜덤 샘플링을 포함한 소스 데이터셋에서의 보조 샘플 선택 전략 변화에도 불구하고 성능이 유지되어 강력한 일반화 능력을 보임을 확인한다.