[논문 리뷰] Transfer Learning with Label Noise

Xiyu Yu, Tongliang Liu외 4명|arXiv (Cornell University)|2017. 07. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 29

한 줄 요약

이 논문은 레이블 노이즈 하에서 전이 학습을 위한 디노이징 조건부 불변 성분(DCIC) 프레임워크를 제안한다. 이는 소스 레이블이 손상되어도 불변 표현의 강건한 학습과 편향 없는 타겟 레이블 분포 추정을 가능하게 하며, 일반화된 타겟 이동 상황에서 클래스 조건부 레이블 노이즈의 부정적 영향을 증명 가능하게 완화한다. 실수 및 합성 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Transfer learning aims to improve learning in target domain by borrowing knowledge from a related but different source domain. To reduce the distribution shift between source and target domains, recent methods have focused on exploring invariant representations that have similar distributions across domains. However, when learning this invariant knowledge, existing methods assume that the labels in source domain are uncontaminated, while in reality, we often have access to source data with noisy labels. In this paper, we first show how label noise adversely affect the learning of invariant representations and the correcting of label shift in various transfer learning scenarios. To reduce the adverse effects, we propose a novel Denoising Conditional Invariant Component (DCIC) framework, which provably ensures (1) extracting invariant representations given examples with noisy labels in source domain and unlabeled examples in target domain; (2) estimating the label distribution in target domain with no bias. Experimental results on both synthetic and real-world data verify the effectiveness of the proposed method.

연구 동기 및 목표

• 기존 방법들이 깨끗한 소스 레이블을 전제로 하므로, 실세계 데이터에서 레이블 노이즈가 흔한 상황에서 이에 대한 심각한 격차를 해결하기 위해.
• 레이블 노이즈가 다양한 전이 학습 시나리오에서 불변 표현 학습과 레이블 이동 보정에 어떻게 악영향을 미치는지 조사하기 위해.
• 레이블 노이즈 하에서도 일관된 불변 표현 학습과 편향 없는 타겟 레이블 분포 추정을 보장하는 이론적으로 탄탄한 방법을 개발하기 위해.
• 의료 데이터 분석 및 다중 도메인 비전과 같은 실용적 응용에서 흔한 일반화된 타겟 이동 시나리오에 집중하기 위해.

제안 방법

• 노이즈가 있는 소스 레이블 하에서 불변 표현과 타겟 레이블 분포 추정을 동시에 학습하는 디노이징 조건부 불변 성분(DCIC) 프레임워크를 제안한다.
• 소스 도메인의 클래스 조건부 레이블 노이즈(CCN)에 강건한 조건부 불변 표현 학습 목표를 사용한다.
• 비라벨 타겟 데이터를 활용하여 표현 학습 중 레이블 노이즈를 보정하는 디노이징 메커니즘을 통합한다.
• 레이블 노이즈가 존재하더라도 도메인 간 조건부 분포를 매칭함으로써, 최소화-최대화 최적화 프레임워크를 사용해 타겟 레이블 분포를 추정한다.
• 이론적 분석을 통해 DCIC가 CCN 하에서도 일관된 불변 표현 추정과 편향 없는 레이블 이동 보정을 보장함을 증명한다.
• McDiarmid의 부등식을 사용해 일반화 한계를 유도하여, 노이즈가 있는 데이터 하에서 방법의 통계적 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 소스 도메인의 레이블 노이즈가 기존 전이 학습 방법의 성능, 특히 불변 표현 학습과 레이블 이동 보정에 어떤 영향을 미치는가?
• RQ2 소스 레이블이 클래스 조건부 노이즈에 의해 손상되었을 때에도 효과적인 전이 학습 프레임워크를 설계할 수 있는가?
• RQ3 제안된 DCIC 프레임워크는 소스 레이블이 노이즈가 있을 경우에도 일관된 불변 표현 학습을 보장하는가?
• RQ4 레이블 노이즈 하에서도 편향 없이 타겟 도메인 레이블 분포를 정확히 추정할 수 있는가?
• RQ5 DCIC 프레임워크는 노이즈가 있는 레이블 하에서 표현 학습과 레이블 이동 추정에 대해 어떤 이론적 보장을 제공하는가?

주요 결과

• 제안된 DCIC 프레임워크는 노이즈가 있는 소스 데이터와 비라벨 타겟 데이터로부터 증명 가능하게 불변 표현을 추출하며, 클래스 조건부 레이블 노이즈에 강건함을 보장한다.
• 소스 레이블이 손상되어도 DCIC는 타겟 레이블 분포의 편향 없는 추정을 달성하며, 이는 신뢰할 수 있는 전이 학습에 매우 중요하다.
• 합성 및 실세계 데이터셋에서의 실험 결과는, DCIC가 노이즈 하에서 기준 방법들보다 전이 학습 정확도에서 뚜렷이 뛰어나다는 것을 보여준다.
• 특히 레이블 노이즈가 기존 방법들의 성능을 가장 심각하게 떨어뜨리는 일반화된 타겟 이동 상황에서, 이 방법은 강력한 성능 유지를 유지한다.
• 이론적 분석을 통해 DCIC의 일반화 오차가 소스 및 타겟 표본 크기의 제곱근에 비례하여 감소함을 확인하여 통계적 일관성을 확인한다.