[논문 리뷰] Characterizing and Avoiding Negative Transfer

Zirui Wang, Zihang Dai외 2명|arXiv (Cornell University)|2018. 11. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 16

한 줄 요약

이 논문은 전이 학습에서의 부정적 전이에 대한 형식적 정의를 제안하고, 유해한 소스 데이터를 걸러내기 위한 일반적인 적대적 게이팅 메커니즘을 도입한다. 소스-타겟 분포 이탈을 추정하기 위해 판별기(discriminator)를 사용함으로써, 여섯 개인 딥 전이 학습 모델 전반에서 성능이 일관되게 향상되며, 열악한 소스 데이터 조건에서도 부정적 전이를 효과적으로 방지한다.

ABSTRACT

When labeled data is scarce for a specific target task, transfer learning often offers an effective solution by utilizing data from a related source task. However, when transferring knowledge from a less related source, it may inversely hurt the target performance, a phenomenon known as negative transfer. Despite its pervasiveness, negative transfer is usually described in an informal manner, lacking rigorous definition, careful analysis, or systematic treatment. This paper proposes a formal definition of negative transfer and analyzes three important aspects thereof. Stemming from this analysis, a novel technique is proposed to circumvent negative transfer by filtering out unrelated source data. Based on adversarial networks, the technique is highly generic and can be applied to a wide range of transfer learning algorithms. The proposed approach is evaluated on six state-of-the-art deep transfer methods via experiments on four benchmark datasets with varying levels of difficulty. Empirically, the proposed method consistently improves the performance of all baseline methods and largely avoids negative transfer, even when the source data is degenerate.

연구 동기 및 목표

• 전이 학습에서의 부정적 전이에 대한 엄밀한 정의와 체계적 분석의 부족을 해결한다.
• 알고리즘 의존성, 도메인 간 차이, 타겟 데이터 가용성과 같은 부정적 전이에 기여하는 핵심 요인을 규명한다.
• 라벨이 없는 타겟 데이터가 필요 없이, 부정적 전이를 탐지하고 회피할 수 있는 일반적이고 구현 가능한 방법을 개발한다.
• 제안된 방법이 다양한 딥 전이 학습 알고리즘과 호환되도록 보장한다.

제안 방법

• 모델이 소스 데이터를 사용할 때보다 무시했을 때 성능이 열 劣하므로, 위험 비교를 기반으로 한 알고리즘별 형식적 정의를 제안한다: $ R_{P_T}(A( ext{S}, ext{T})) > R_{P_T}(A( ext{empty}, ext{T})) $.
• 소스 및 타겟 데이터의 주변분포와 결합분포를 추정하기 위해 적대적 네트워크를 사용하는 판별기 게이팅 메커니즘을 도입한다.
• 판별기의 출력을 인스턴스 가중치로 사용하여 소스 샘플을 재가중함으로써, 타겟과의 분포 이탈이 큰 샘플을 걸러낸다.
• 게이팅을 중요도 재가중의 한 형태로 제안하여 소스와 타겟 위험 간의 편향을 줄이고, 부정적 전이를 효과적으로 최소화한다.
• 메인 모델과 함께 엔드 투 엔드로 판별기를 훈련시어, 훈련 중에 관련 없거나 해로운 소스 예제를 동적으로 걸러내도록 한다.
• 기존 전이 학습 프레임워크에 플러그인 방식으로 적용하여 최신 딥 모델과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 부정적 전이를 테스트 시점에 측정 가능하고 엄밀한 방식으로 정의할 수 있는 방법은 무엇인가?
• RQ2 부정적 전이를 유도하는 핵심 요인은 무엇이며, 이는 전이 학습 알고리즘과 어떻게 상호작용하는가?
• RQ3 유해한 소스 데이터를 전이 전에 탐지하고 걸러내는 일반적이고 모델에 종속되지 않는 방법을 설계할 수 있는가?
• RQ4 제안된 방법이 다양한 딥 전이 학습 알고리즘에서 부정적 전이 조건 하에 일관되게 성능을 향상시키는가?

주요 결과

• 제안된 판별기 게이팅 방법은 네 개의 벤치마크 데이터셋에서 여섯 개의 기준 딥 전이 학습 모델 전반에서 성능을 일관되게 향상시킨다.
• 실증 결과는 소스 데이터가 열악하거나 타겟 도메인과 크게 다를 경우에도 이 방법이 부정적 전이를 효과적으로 방지함을 보여준다.
• 판별기 출력 분포 분석 결과, 기존 DANN은 모든 소스 샘플에 거의 균일한 가중치(~0.5)를 부여하는 반면, 게이팅 버전은 왜곡된(관련 없는) 데이터에 훨씬 낮은 가중치를 할당한다.
• 유해한 소스 데이터 사용 위험은 분포 이탈이 큰 인스턴스를 걸러내어 낮은 평균 가중치로 감소함을 입증한다.
• 부정적 전이의 형식적 정의는 이전의 비형식적 사용 방식의 모호함을 해결하고, 알고리즘별 측정 가능한 평가를 가능하게 한다.
• 실험 결과는 부정적 전이가 알고리즘 선택, 도메인 간 차이, 타겟 데이터 가용성에 영향을 받으며, 이는 이론적 분석을 뒷받침함을 확인한다.