[논문 리뷰] Learning unbiased features

Yujia Li, Kevin Swersky외 1명|arXiv (Cornell University)|2014. 12. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 17

한 줄 요약

이 논문은 딥 네ural 네트워크에서 편향 없는 도메인 불변 표현을 학습하기 위해 최대 평균 차이(MMD)를 정규화 요소로 사용하는 것을 제안한다. 소스 도메인과 타겟 도메인의 특징 간 MMD를 최소화함으로써, 감성 분류 등 다양한 도메인 간 전이 학습 성능을 향상시키며, 노이즈 및 조명 변화에 대해 강건한 성능을 보인다.

ABSTRACT

A key element in transfer learning is representation learning; if representations can be developed that expose the relevant factors underlying the data, then new tasks and domains can be learned readily based on mappings of these salient factors. We propose that an important aim for these representations are to be unbiased. Different forms of representation learning can be derived from alternative definitions of unwanted bias, e.g., bias to particular tasks, domains, or irrelevant underlying data dimensions. One very useful approach to estimating the amount of bias in a representation comes from maximum mean discrepancy (MMD) [5], a measure of distance between probability distributions. We are not the first to suggest that MMD can be a useful criterion in developing representations that apply across multiple domains or tasks [1]. However, in this paper we describe a number of novel applications of this criterion that we have devised, all based on the idea of developing unbiased representations. These formulations include: a standard domain adaptation framework; a method of learning invariant representations; an approach based on noise-insensitive autoencoders; and a novel form of generative model.

연구 동기 및 목표

• 도메인 이동, 작업별 편향, 또는 관련 없는 데이터 변형에 영향을 받지 않는 표현을 학습하는 딥 러닝 모델을 개발하기 위해.
• 대규모 학습에서 레이블이 부족한 문제를 해결하기 위해, 도메인 간 전이 가능하고 불변하는 특징을 학습함으로써.
• 소스 도메인과 타겟 도메인 간 분포 차이를 최소화함으로써 전이 학습의 일반화 성능을 향상시키기 위해.
• 감독 학습, 비감독 학습, 생성 모델링 등 다양한 학습 시나리오에서 MMD를 정규화 요소로 사용하는 통합 프레임워크를 제공하기 위해.
• 기존 방법들인 TCA와 노이즈 제거 오토인코더의 한계를 극복하기 위해 종단 간 MMD 정규화가 적용된 딥 네트워크를 사용하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인의 특징 표현 간 분포 거리 측정으로 MMD를 사용하여 도메인 불변성을 강제한다.
• 딥 네럴 네트워크의 손실 함수에 MMD를 페널티 항으로 적용하여, 특징 학습과 분류를 동시에 최적화한다.
• 커널 방법을 활용해 특징를 재생 핵 힐버트 공간에 암묵적으로 매핑함으로써 비선형 분포 매칭을 가능하게 한다.
• 오토인코더 학습에 MMD를 통합하여, 깨끗한 활성화와 손상된 활성화 간의 MMD를 최소화함으로써 노이즈에 강인한 표현을 학습한다.
• 생성 모델링에서 MMD를 직접 목적 함수로 사용하여 생성된 데이터 분포를 실제 데이터 분포와 매칭함으로써, 최소-최대 최적화를 회피한다.
• MMD 손실를 통해 역전파를 활용하여 MMD 정규화가 적용된 딥 모델을 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 데이터를 요구하지 않고도 MMD 기반 정규화가 전이 학습에서 도메인 이동을 효과적으로 줄일 수 있는가?
• RQ2 다양한 조명 조건과 노이즈 조건 하에서 MMD 정규화가 적용된 딥 네트워크가 불변 표현을 얼마나 잘 학습할 수 있는가?
• RQ3 노이즈에 강인한 특징을 학습하는 데서 MMD 정규화가 기존의 노이즈 제거 및 수축 오토인코더보다 우수한가?
• RQ4 생성 모델링에서 최소-최대 최적화의 안정적인 단일 목적 함수 대체로 MMD를 사용할 수 있는가?
• RQ5 실제 전이 학습 시나리오에서 다양한 데이터 분포 간 일반화 성능을 MMD 정규화가 얼마나 향상시키는가?

주요 결과

• MMD 정규화가 적용된 신경망은 B→D 감성 분류 작업에서 79.2%의 정확도를 달성하여, TCA(76.9%)와 표준 신경망(78.3%)을 능가했다.
• K→D 작업에서 MMD 모델은 표준편차 1.0%를 동반한 75.0%의 정확도를 기록했으며, 베이스라인 신경망(72.7%)과 TCA(73.3%)를 크게 앞섰다.
• MMD 오토인코더는 깨끗한 데이터와 노이즈가 있는 데이터를 구분하는 SVM 정확도에서 61.1%를 기록하여, DAE(82.5%)와 CAE(77.9%)보다 뛰어난 노이즈 강인성을 보였다.
• 생성 모델링에서 MMD 기반 방법은 최소-최대 최적화를 요구하지 않으면서도 의미 있는 특징을 학습하고, 현실적인 MNIST 샘플을 생성하는 데 성공했다.
• E→K 감성 작업에서 MMD 정규화 모델은 85.2%의 정확도를 기록하여 가장 우수한 베이스라인(RBF SVM, 82.0%)을 능가했으며, 모든 도메인 적응 작업에서 강건성을 보였다.
• 놀랍게도, 노이즈 제거 오토인코더는 MMD 정규화 모델보다 노이즈 강인성에서 열등했으며, 이는 노이즈 제거가 강건한 표현을 보장하지는 않는다는 것을 시사한다.