[논문 리뷰] Statistical and Algorithmic Insights for Semi-supervised Learning with Self-training

Samet Oymak, Talha Cihad Gülcü|arXiv (Cornell University)|2020. 06. 19.

Machine Learning and ELM참고 문헌 41인용 수 15

한 줄 요약

이 논문은 가우시안 믹스처 모델을 사용한 선형 분류기의 자기학습에 대한 이론적 통찰을 제공하며, 신뢰도 기반 거부 및 정규화가 수렴성과 일반화를 향상시킨다는 것을 보여준다. 클래스 마진과 리지 정규화가 최적의 고정점 회피에 필수적임을 규명하고, 자기학습과 약한 감독 간의 연결을 손실 경로의 호환성에 기반해 수립한다.

ABSTRACT

Self-training is a classical approach in semi-supervised learning which is successfully applied to a variety of machine learning problems. Self-training algorithm generates pseudo-labels for the unlabeled examples and progressively refines these pseudo-labels which hopefully coincides with the actual labels. This work provides theoretical insights into self-training algorithm with a focus on linear classifiers. We first investigate Gaussian mixture models and provide a sharp non-asymptotic finite-sample characterization of the self-training iterations. Our analysis reveals the provable benefits of rejecting samples with low confidence and demonstrates that self-training iterations gracefully improve the model accuracy even if they do get stuck in sub-optimal fixed points. We then demonstrate that regularization and class margin (i.e. separation) is provably important for the success and lack of regularization may prevent self-training from identifying the core features in the data. Finally, we discuss statistical aspects of empirical risk minimization with self-training for general distributions. We show how a purely unsupervised notion of generalization based on self-training based clustering can be formalized based on cluster margin. We then establish a connection between self-training based semi-supervision and the more general problem of learning with heterogenous data and weak supervision.

연구 동기 및 목표

• 반감독 학습에서 선형 분류기의 자기학습이 언제이고 왜 작동하는지 이해하는 것.
• 신뢰도 임계값 설정과 정규화가 자기학습의 수렴성과 성능에 미치는 영향을 분석하는 것.
• 자기학습에서 유도된 클러스터 마진을 기반으로 한 비지도 일반화의 개념을 수립하는 것.
• 자기학습을 이질적인 데이터와 약한 감독 문제의 일반화된 문제에 연결하는 것.
• 가우시안 믹스처 모델 하에서 자기학습에 대한 비점근적, 유한 표본 이론적 보장을 제공하는 것.

제안 방법

• 두 성분을 가진 가우시안 믹스처 모델(GMM) 하에서 자기학습을 분석하여, 최적의 분류기와 자기학습 출력 간의 상관관계의 정확한 유한 표본 역학을 유도한다.
• 점근적이지 않은 분포 기반 분석을 통해 반복 과정에서 모델 성능의 진화를 특성화한다.
• 자기학습이 유의미한 해에 수렴하는지 여부를 결정하기 위해 믹스처 평균 간의 거리에 대한 마진 기반 조건을 도입한다.
• 리지 정규화와 조기 정지 기법을 적용하여 자기학습을 주 고유방향으로 이끌며, 파wer 반복의 행동을 모방한다.
• 라데마처 복잡도를 사용한 통계학적 학습 경계를 수립하여 약한 감독(자기학습)과 강한 감독(라벨이 부여된 데이터)을 연결한다.
• 감독된 손실 함수와 비감독된 손실 함수 간의 하위레벨 집합의 교차를 통해 호환성을 정의함으로써, 적은 수의 라벨 샘플로도 일반화 보장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기학습이 유한 표본에서 모델 정확도를 증가시키는 데 증명 가능한 조건은 무엇인가?
• RQ2 낮은 신뢰도를 가진 가짜 라벨 예측을 거부하면 자기학습 성능에 어떤 영향을 미치는가?
• RQ3 클래스 마진(믹스처 평균 간의 분리)은 자기학습 수렴성에 어떤 역할을 하는가?
• RQ4 정규화와 조기 정지를 통해 마진이 없는 상황에서 자기학습의 성능을 보완할 수 있는가?
• RQ5 자기학습은 어떻게 약한 감독 학습과 형식적으로 연결될 수 있으며, 이질적인 데이터와의 관계는 어떠한가?

주요 결과

• 신뢰도 임계값 설정을 통한 자기학습는 유한 표본에서도 신뢰할 수 없는 가짜 라벨를 걸러내어 정확도를 증가시키는 데 증명 가능하다.
• 믹스처 성분 간 마진이 없을 경우, 최소 제곱 손실 하에서 정규화되지 않은 자기학습는 유의미한 해에 수렴하지 못함을 증명할 수 있다.
• 리지 정규화와 조기 정지를 통해 자기학습는 주 고유방향에 집중함으로써 좋은 모델로 수렴할 수 있으며, 이는 파워 반복의 행동과 유사하다.
• 이론적 분석을 통해 자기학습는 약한 감독의 한 형태로 간주될 수 있으며, 감독된 손실과 비감독된 손실의 하위레벨 집합이 교차할 경우 일반화가 보장됨을 보여준다.
• 통계학적 학습 경계를 수립한 결과, 검색 공간을 좁힐 수 있을 정도로 충분한 비라벨 데이터가 있으면, 일반화를 위해 소수의 라벨 샘플만으로도 충분하다.
• 이 프레임워크는 자기학습에서 유도된 마진을 기반으로 한 비지도 일반화 개념을 수립하여, 자기학습 기반 학습의 통계학적 기반을 제공한다.