[논문 리뷰] Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data

Colin Wei, Kendrick Shen외 2명|arXiv (Cornell University)|2020. 10. 07.

Machine Learning and Data Classification참고 문헌 68인용 수 74

한 줄 요약

이 논문은 준감독 학습, 도메인 적응, 비지도 학습 전반에 걸쳐 딥 네트워크를 사용한 자기학습에 대한 최초의 통합 이론적 분석을 제공한다. '확장성' 가정을 도입하고, 이 조건 하에서 자기학습과 입력 일致성 정규화가 인구 목표 함수를 최소화하여 높은 정확도를 달성함을 보여주며, 신경망의 마진과 리프시츠 노름에 대해 다항식 수준의 표본 복잡도 한계를 확보한다.

ABSTRACT

Self-training algorithms, which train a model to fit pseudolabels predicted by another previously-learned model, have been very successful for learning with unlabeled data using neural networks. However, the current theoretical understanding of self-training only applies to linear models. This work provides a unified theoretical analysis of self-training with deep networks for semi-supervised learning, unsupervised domain adaptation, and unsupervised learning. At the core of our analysis is a simple but realistic "expansion" assumption, which states that a low probability subset of the data must expand to a neighborhood with large probability relative to the subset. We also assume that neighborhoods of examples in different classes have minimal overlap. We prove that under these assumptions, the minimizers of population objectives based on self-training and input-consistency regularization will achieve high accuracy with respect to ground-truth labels. By using off-the-shelf generalization bounds, we immediately convert this result to sample complexity guarantees for neural nets that are polynomial in the margin and Lipschitzness. Our results help explain the empirical successes of recently proposed self-training algorithms which use input consistency regularization.

연구 동기 및 목표

• 선형 모델을 초월하여 딥 네트워크를 사용한 자기학습에 대한 이론적 기반을 구축하기 위해.
• 준감독 학습, 비지도 도메인 적응, 비지도 학습 전반에 걸친 자기학습 분석을 통합하기 위해.
• 수렴이 고정밀도 모델로 이어지게 하는 최소한이면서 현실적인 가정—특히 확장성 가정—을 규명하기 위해.
• 이론적 보장을 딥 네트워크의 실용적 일반화 한계와 연결하기 위해.
• 최근 자기학습 알고리즘에서 입력 일치성 정규화의 경험적 성공을 설명하기 위해.

제안 방법

• ‘확장성’ 가정을 도입: 낮은 확률을 가진 데이터 부분집합은 높은 확률의 이웃 영역으로 확장되어야 한다.
• 다른 클래스의 예시들 간의 이웃 영역 간에 최소한의 겹침 조건을 부과하여 분리 가능성 보장.
• 자기학습과 입력 일치성 정규화 기반의 인구 목표 함수 분석.
• 일반적인 일반화 한계를 활용하여 딥 네트워크의 표본 복잡도 보장을 유도.
• 제시된 가정 하에서 이러한 목표 함수의 최소화자가 고정밀도 솔루션에 수렴함을 입증.
• 마진과 리프시츠 상수에 대해 다항식 수준의 경계를 통해 이론적 수렴을 실용적 성능과 연결.

실험 결과

연구 질문

• RQ1 딥 네트워크를 사용한 자기학습이 준감독 및 비지도 설정에서 어떤 조건 하에 고정밀도 모델로 수렴하는가?
• RQ2 자기학습에서 신뢰할 수 있는 일반화를 보장하기 위해 확장성 가정을 어떻게 정량화할 수 있는가?
• RQ3 제안된 가정 하에서 입력 일치성 정규화는 모델 정확도 향상에 어떤 역할을 하는가?
• RQ4 이론적 보장이 딥 네트워크의 표본 복잡도 한계로 어떻게 번역되는가?
• RQ5 최근 자기학습 알고리즘에서 입력 일치성 정규화를 도입한 이유는 무엇인가?

주요 결과

• 확장성 가정과 최소한의 클래스 이웃 겹침 조건 하에서, 자기학습과 입력 일치성 정규화는 진정한 레이블에 대해 높은 정확도를 달성한다.
• 자기학습과 입력 일치성 정규화의 인구 목표 함수 최소화자가 고정밀도 솔루션으로 수렴한다.
• 일반화 한계는 네트워크의 마진과 리프시츠 상수에 대해 다항식 수준의 표본 복잡도를 암시한다.
• 이론적 프레임워크는 최근 자기학습 방법에서 입력 일치성 정규화의 경험적 성공을 설명한다.
• 분석은 준감독 학습, 비지도 도메인 적응, 비지도 학습 설정 전반에 균일하게 적용된다.
• 결과는 레이블 없이 낮은 데이터 환경에서 자기학습의 강건성을 위한 이론적 근거를 제공한다.