[논문 리뷰] When can unlabeled data improve the learning rate?

Christina Göpfert, Shai Ben-David외 4명|arXiv (Cornell University)|2019. 05. 28.

Machine Learning and Algorithms참고 문헌 13인용 수 7

한 줄 요약

이 논문은 반감독 학습(SSL)에서 레이블이 없는 데이터가 학습 속도를 어떻게 엄밀하게 향상시킬 수 있는지에 대한 엄밀한 조건을 설정한다. $1/\sqrt{\ell}$ 에서 $1/\ell$ 으로의 엄밀한 속도 향상이 가능하며, $u(\ell) \geq \ell^2$ 를 초과해도 추가적인 이득은 없다. 이는 이전 분석이 종종 현실적이지 않은 가정(예: 진짜 균일 분포에의 접근 또는 샘플 크기에 따라 달라지는 분포 클래스)에 의존한다는 점을 지적하며, 유한하고 고정된 가설 클래스, 유계 VC 차원 조건에서 진정한 SSL 이점 평가를 위한 깔끔한 최소최대 기준을 제안한다.

ABSTRACT

In semi-supervised classification, one is given access both to labeled and unlabeled data. As unlabeled data is typically cheaper to acquire than labeled data, this setup becomes advantageous as soon as one can exploit the unlabeled data in order to produce a better classifier than with labeled data alone. However, the conditions under which such an improvement is possible are not fully understood yet. Our analysis focuses on improvements in the minimax learning rate in terms of the number of labeled examples (with the number of unlabeled examples being allowed to depend on the number of labeled ones). We argue that for such improvements to be realistic and indisputable, certain specific conditions should be satisfied and previous analyses have failed to meet those conditions. We then demonstrate examples where these conditions can be met, in particular showing rate changes from $1/\sqrt{\ell}$ to $e^{-c\ell}$ and from $1/\sqrt{\ell}$ to $1/\ell$. These results improve our understanding of what is and isn't possible in semi-supervised learning.

연구 동기 및 목표

• 레이블이 없는 데이터가 반감독 학습(SSL)에서 어떤 현실적인 조건에서 엄밀하게 학습 속도 향상을 이끌 수 있는지 규명하는 것.
• 이전 SSL 분석에서 흔히 사용되지만 제한적인 가정(예: 진짜 균일 분포에의 접근 또는 샘플 크기에 따라 달라지는 분포 클래스)을 식별하고 기각하는 것.
• 이상적 또는 순환적인 가정을 피하는 깔끔한 최소최대 기준을 제안하여 SSL 향상 정도를 평가하는 것.
• 레이블이 없는 데이터가 $1/\sqrt{\ell}$ 에서 $1/\ell$ 으로의 엄밀한 속도 향상을 이끌 수 있는 명시적인 예를 구성하는 것. 이 경우, 레이블이 없는 데이터 크기가 아무리 커져도 추가로 향상되지 않는다.
• 어떤 속도 향상이 이루어지기 위해 필요한 레이블이 없는 데이터의 최소 성장률 $u(\ell)$ 에 대한 하한을 설정하는 것. 이는 $\ell^{-\alpha}$ 의 감독 학습 속도를 기반으로 한다.

제안 방법

• 유한하고 고정된 가설 클래스, 유계 VC 차원 조건에서 감독 학습(SL)과 SSL의 속도를 비교하기 위한 최소최대 프레임워크를 도입한다.
• 두 문제의 혼합 구조를 사용한다: 하나는 $1/\sqrt{\ell}$ 의 SL 속도와 빠른 SSL 속도를 가지며, 다른 하나는 SL와 SSL 모두 $1/\ell$ 의 속도를 가진다.
• 혼합 문제의 전체 SL 속도는 느린 성분에 의해 결정되며, SSL 속도는 빠른 성분에 의해 결정되므로 속도 향상이 가능하다는 것을 증명한다.
• Darnstädt 등(2013)과 Singh 등(2009)의 기존 결과를 활용하여 구성 문제의 기준 속도를 확립한다.
• 속도 향상을 위한 필수 조건을 유도한다: $u(\ell)/\ell \to \infty$, 이는 레이블이 없는 데이터가 초선형으로 증가해야 한다는 것을 보여준다.
• 초과 위험를 균일 분포 추정과 레이블 예측 성분으로 형식적으로 분해하여, 레이블이 없는 데이터의 역할을 분리한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 레이블이 없는 데이터가 반감독 학습에서 힌트나 이상적인 가정 없이 엄밀하게 더 빠른 학습 속도를 이끌 수 있는가?
• RQ2 이전 분석에서 SSL 이점이 주장되지만, 종종 레이블이 없는 데이터의 진짜 균일 분포에의 접근 등의 제한적인 가정으로 인해 진정한 향상이 입증되지 않는 이유는 무엇인가?
• RQ3 유한하고 고정된 가설 클래스, 유계 VC 차원 조건에서, 레이블이 없는 데이터를 통해 $1/\sqrt{\ell}$ 에서 $1/\ell$ 으로의 엄밀한 속도 향상이 이루어지고, 더 이상 향상되지 않는 경우가 존재하는가?
• RQ4 감독 학습 속도가 $\ell^{-\alpha}$ 라면, 어떤 속도 향상이 이루어지기 위해 필요한 레이블이 없는 데이터의 최소 성장률 $u(\ell)$ 은 무엇인가?
• RQ5 균일 분포 추정의 어려움에 대한 다양한 가정은 비모수적 또는 무한 VC 차원 설정에서 더 빠른 SSL 속도를 달성할 가능성에 어떤 영향을 미치는가?

주요 결과

• 감독 학습 속도가 $1/\sqrt{\ell}$ 이고 반감독 학습 속도가 $1/\ell$ 인 문제가 존재하며, 이는 더 이상 레이블이 없는 데이터 크기를 늘려도 향상되지 않는 엄밀한 향상이 가능하다.
• 이 속도 향상은 두 문제의 혼합 구조를 통해 달성된다: 하나는 $1/\sqrt{\ell}$ 의 SL 속도와 빠른 SSL 속도를 가지며, 다른 하나는 SL와 SSL 모두 $1/\ell$ 의 속도를 가진다.
• 어떤 속도 향상이 이루어지기 위해 필요한 레이블이 없는 데이터의 양 $u(\ell)$ 는 레이블이 있는 예제의 수 $\ell$ 에 대해 초선형으로 증가해야 한다.
• 논문은 감독 학습 속도가 $\ell^{-\alpha}$ 라면, $u(\ell)/\ell \to \infty$ 는 어떤 향상이 이루어지기 위한 필수 조건임을 증명하며, 선형 또는 부분선형 증가 가능성은 배제한다.
• 분석 결과는 진짜 균일 분포에의 이상적인 접근 또는 샘플 크기에 따라 달라지는 분포 클래스에 의존하는 이전 접근 방식이 진정한 현실적인 향상을 입증하지 못한다는 것을 보여준다.
• 결과적으로, SSL에서의 속도 향상은 자동으로 발생하는 것이 아니며, 데이터 생성 과정과 가설 클래스에 대한 특정한 구조적 가정이 필요하다.