[논문 리뷰] Combating Domain Shift with Self-Taught Labeling.

Jian Liang, Dapeng Hu외 1명|arXiv (Cornell University)|2020. 07. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 1

한 줄 요약

이 논문은 자기학습 레이블링(SeTL)을 제안하며, 비모수적 근접성 집합 전략을 통해 편향이 없고 정확한 가짜 레이블을 생성함으로써 타겟 도메인으로의 일반화를 향상시키는 새로운 도메인 적응 방법이다. 특징 및 소프트 레이블의 메모리 백을 활용함으로써 타겟 도메인 레이블에 의존하지 않고 모델 성능을 향상시켜, 다양한 벤치마크에서 기존의 도메인 정렬 기법들을 능가한다.

ABSTRACT

We present a novel method to combat domain shift when adapting classification models trained on one domain to other new domains with few or no target labels. In the existing literature, a prevailing solution paradigm is to learn domain-invariant feature representations so that a classifier learned on the source features generalizes well to the target features. However, such a classifier is inevitably biased to the source domain by overlooking the structure of the target data. Instead, we propose Self-Taught Labeling (SeTL), a new regularization approach that finds an auxiliary target-specific classifier for unlabeled data. During adaptation, this classifier is able to teach the target domain itself by providing \emph{unbiased accurate} pseudo labels. In particular, for each target data, we employ the memory bank to store the feature along with its soft label from the domain-shared classifier. Then we develop a non-parametric neighborhood aggregation strategy to generate new pseudo labels as well as confidence weights for unlabeled data. Though simply using the standard classification objective, SeTL significantly outperforms existing domain alignment techniques on a large variety of domain adaptation benchmarks. We expect that SeTL can provide a new perspective of addressing domain shift and inspire future research of domain adaptation and transfer learning.

연구 동기 및 목표

• 소스 도메인에 편향을 유도하는 경향이 있는 도메인 불변 특징 학습의 한계를 해결하기 위해 타겟 데이터의 구조를 忽시하는 문제를 해결한다.
• 레이블이 거의 없거나 전혀 없는 저자원 타겟 도메인에서 모델의 일반화 성능을 향상시키기 위해 노력한다.
• 타겟 도메인이 정확한 가짜 레이블을 통해 스스로를 가르치는 자기지도 학습 레이블링 메커니즘을 개발한다.
• 특징 정렬을 넘어서 타겟 도메인 특화 분류기 학습을 포함하는 도메인 적응에 대한 새로운 시각을 제공한다.

제안 방법

• 적응 과정 중에 각 타겟 샘플의 도메인 공유 분류기로부터의 특징과 소프트 레이블을 메모리 백에 저장한다.
• 특징 공간에서 유사한 샘플을 집계함으로써 새로운 가짜 레이블을 생성하기 위해 비모수적 이웃 집합 전략을 적용한다.
• 이웃 특징의 근접성과 일관성에 기반해 가짜 레이블에 신뢰도 가중치를 할당한다.
• 생성된 가짜 레이블과 표준 교차 엔트로피 분류 손실을 사용하여 타겟 전용 분류기를 훈련한다.
• 메모리 백과 이웃 집합 전략을 활용해 가짜 레이블과 분류기 예측을 반복적으로 개선한다.
• 공유 학습과 타겟 전용 학습을 조합하여 소스 도메인 지식과 타겟 도메인 구조 사이의 균형을 유지한다.

실험 결과

연구 질문

• RQ1 타겟 애너테이션에 의존하지 않고 편향이 없는 가짜 레이블을 생성함으로써 자기학습 레이블링 접근법이 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 특징 공간에서의 이웃 집합 전략이 타겟 데이터의 가짜 레이블 품질을 어떻게 향상시키는가?
• RQ3 자기학습 레이블링 방법 SeTL은 제로샷 또는 희소한 레이블 도메인 적응 설정에서 기존의 도메인 정렬 기법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 메모리 백 메커니즘이 자기레이블링 반복 과정 동안 신뢰할 수 있는 소프트 레이블을 효과적으로 유지하고 전파하는가?

주요 결과

• SeTL은 다양한 도메인 적응 벤치마크에서 기존의 도메인 정렬 기법들을 크게 능가한다.
• 이웃 집합 전략을 통해 정확하고 편향이 없는 가짜 레이블을 생성함으로써 SeTL은 최고 성능을 달성한다.
• 소프트 레이블을 포함한 메모리 백의 사용은 다중 훈련 반복 동안 안정적이고 일관된 가짜 레이블링을 가능하게 한다.
• SeTL은 소스 전용 특징 학습에서 유도되는 편향을 줄이고 타겟 도메인의 구조를 포착함으로써 일반화 성능을 향상시킨다.
• 이론적으로나 실험적으로나 타겟 데이터의 레이블이 거의 없거나 전혀 없을 경우에도 강력한 성능을 유지하여 저자원 환경에서의 강인함을 입증한다.
• 비모수적 이웃 집합 전략은 局부 특징 유사성에 기반하여 신뢰할 수 있는 가짜 레이블을 효과적으로 식별한다.