[논문 리뷰] Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results

Alexander Mey, Marco Loog|arXiv (Cornell University)|2019. 08. 26.

Machine Learning and Data Classification참고 문헌 65인용 수 10

한 줄 요약

이 종합적 서베이는 준지도학습(SSL)의 이론적 분석을 제공하며, 분류 및 회귀에서 무라벨 데이터가 일반화 성능을 향상시키는 조건을 다룬다. 이 서베이에서는 다양한 SSL 방법의 근본이 되는 가정을 규명하고, 가정이 성립할 경우 성능 향상 정도를 정량화하며, 지도학습이 불가능한 상황에서도 SSL이 PAC-학습 가능성을 달성할 수 있는 경우를 강조한다.

ABSTRACT

Semi-supervised learning is a setting in which one has labeled and unlabeled data available. In this survey we explore different types of theoretical results when one uses unlabeled data in classification and regression tasks. Most methods that use unlabeled data rely on certain assumptions about the data distribution. When those assumptions are not met in reality, including unlabeled data may actually decrease performance. Studying such methods, it therefore is particularly important to have an understanding of the underlying theory. In this review we gather results about the possible gains one can achieve when using semi-supervised learning as well as results about the limits of such methods. More precisely, this review collects the answers to the following questions: What are, in terms of improving supervised methods, the limits of semi-supervised learning? What are the assumptions of different methods? What can we achieve if the assumptions are true? Finally, we also discuss the biggest bottleneck of semi-supervised learning, namely the assumptions they make.

연구 동기 및 목표

• 무라벨 데이터가 언제이고 어떻게 학습 성능을 향상시키는지 이해하기 위해 준지도학습의 이론적 결과를系통적으로 맵핑하는 것.
• 다양한 SSL 방법이 내포한 가정과 그들이 학습 속도 및 샘플 복잡도에 미치는 영향을 명확히 하는 것.
• SSL의 이론적 한계를 조사하며, 특히 지도학습보다 무한정으로 성능 향상을 이룰 수 있는 경우를 포함한다.
• 가정이 위반되었을 때 무라벨 데이터를 포함시키는 위험을 분석하고, SSL이 성능을 떨어뜨리지 않을 조건을 규명하는 것.
• 이론적 결과를 실제 연구자 및 실무자들이 준지도학습을 현실 세계에 적용할 때의 실용적 함의와 연결하는 것.

제안 방법

• PAC-학습 프레임워크를 사용하여 지도학습자와 준지도학습자의 학습 속도 및 샘플 복잡도를 수식적으로 정의한다.
• 지도학습 샘플 복잡도 $ m(H, \epsilon, \delta) $ 와 준지도학습 샘플 복잡도 $ m^{\text{SSL}}(H, \epsilon, \delta) $ 를 비교하여 성능 향상 정도를 정량화한다.
• SSL 방법을 그들의 가정 강도에 따라 분류한다: 가정 없음, 약한 가정(학습 속도 $ \sim 1/\sqrt{n} $), 강한 가정(지수 수렴 $ \sim e^{-n} $).
• 특히 전도적 설정에서 지도학습 기반 모델보다 항상 열등하지 않은, 증명 가능한 방법들을 검토한다.
• 다양한 데이터 분포 가정 하에서의 이론적 보장을 분석하며, 일반화 향상에 있어 근방 분포 $ P(X) $ 의 역할을 다룬다.
• ‘향상 가능성(improvability)’의 개념을 도입하고 논의한다—즉, 무한한 레이블 데이터가 있더라도 지도학습이 불가능한 문제를 SSL이 학습할 수 있는 경우.

실험 결과

연구 질문

• RQ1 준지도학습이 지도학습보다 성능 향상이 무한정으로 증가할 수 있는 조건은 무엇인가?
• RQ2 준지도학습의 데이터 분포에 대한 기본 가정이 위반되었을 때의 이론적 한계는 무엇인가?
• RQ3 약한, 강한, 또는 가정이 없는 가정에 따라 SSL의 학습 속도와 샘플 복잡도에 어떤 영향을 미치는가?
• RQ4 자신의 지도학습 대비 성능이 항상 열등하지 않도록 보장할 수 있는 준지도학습 학습자가 존재하는가?
• RQ5 무라벨 데이터가 지도학습이 실패하는 상황에서 어떻게 PAC-학습 가능성을 가능하게 하는가?

주요 결과

• 무한한 레이블 데이터가 있더라도 지도학습자가 학습할 수 없는 문제를 SSL이 PAC-학습할 수 있는 상황이 존재하며, 이는 무한한 향상 가능성(improvability)을 보여준다.
• 강한 데이터 분포 가정이 성립할 경우, SSL은 표준 지도학습의 $ 1/\sqrt{n} $ 속도를 뛰어넘는 지수 수렴 속도 $ \sim e^{-n} $ 를 달성할 수 있다.
• 약한 가정 하에서는 성능 향상이 일정 요인으로 이루어지지만, 학습 속도는 $ 1/\sqrt{n} $ 를 초과하지 않으며, 이는 지도학습의 표준 속도이다.
• 어떤 가정도 없을 경우, 무라벨 데이터를 포함시키는 것은 성능을 떨어뜨릴 수 있으며, 성능 향상에 대한 이론적 보장은 존재하지 않는다.
• 무라벨 데이터를 포함시켜도 지도학습 대비 성능이 항상 열등하지 않은 준지도학습 학습자를 설계하는 연구 라인이 존재하며, 이는 실용적 적용에 대한 안전 보장을 제공한다.
• 이론적 분석은 준지도학습의 주요 제약 요소가 알고리즘 자체가 아니라 데이터 분포에 대한 가정의 타당성에 있음을 시사한다.