[論文レビュー] Improvability Through Semi-Supervised Learning: A Survey of Theoretical Results

Alexander Mey, Marco Loog|arXiv (Cornell University)|Aug 26, 2019

Machine Learning and Data Classification参考文献 65被引用数 10

ひとこと要約

本調査では、半教師付き学習（SSL）の包括的な理論的分析を提供し、教師なしデータが分類および回帰における一般化を改善する条件を検討する。さまざまなSSL手法の背後にある仮定を特定し、仮定が成立する場合の性能向上を定量的に評価するとともに、教師あり学習では不可能な場合でもPAC学習が可能になる状況を明らかにする。

ABSTRACT

Semi-supervised learning is a setting in which one has labeled and unlabeled data available. In this survey we explore different types of theoretical results when one uses unlabeled data in classification and regression tasks. Most methods that use unlabeled data rely on certain assumptions about the data distribution. When those assumptions are not met in reality, including unlabeled data may actually decrease performance. Studying such methods, it therefore is particularly important to have an understanding of the underlying theory. In this review we gather results about the possible gains one can achieve when using semi-supervised learning as well as results about the limits of such methods. More precisely, this review collects the answers to the following questions: What are, in terms of improving supervised methods, the limits of semi-supervised learning? What are the assumptions of different methods? What can we achieve if the assumptions are true? Finally, we also discuss the biggest bottleneck of semi-supervised learning, namely the assumptions they make.

研究の動機と目的

• 教師なしデータが学習性能をどのように改善するかを理解するため、半教師付き学習における理論的結果を体系的にマッピングすること。
• 異なるSSL手法が行う仮定を明確にし、それらが学習速度およびサンプル複雑度に与える影響を明らかにすること。
• SSLの理論的限界を調査し、特に教師あり学習では不可能な場合でも、SSLが無限大のラベル付きデータでも学習可能となる状況を含む、無限大の改善が可能な場合を検討すること。
• 仮定が破綻した場合に教師なしデータを含めることのリスクを分析し、SSLが性能を低下させないことが保証される条件を同定すること。
• 理論的知見を実世界のSSL適用に向けた研究者および実務家への実用的インサイトに結びつけること。

提案手法

• PAC学習フレームワークを用いて、教師ありおよび半教師付き学習者における学習速度およびサンプル複雑度を形式化する。
• 教師ありのサンプル複雑度 $ m(H, \epsilon, \delta) $ と半教師付きのサンプル複雑度 $ m^{\text{SSL}}(H, \epsilon, \delta) $ を比較し、性能向上を定量的に評価する。
• 仮定の強さに基づいてSSL手法を分類する：仮定なし、弱い仮定（学習速度 $ \sim 1/\sqrt{n} $）、強い仮定（指数的収束 $ \sim e^{-n} $）。
• 特に推論的設定において、教師ありベースラインより悪くならないことが証明可能な手法をレビューする。
• データ分布に関する異なる仮定のもとでの理論的保証を分析し、一般化の向上に寄与する周辺分布 $ P(X) $ の役割を検討する。
• 「改善可能性（improvability）」という概念を導入・議論する — すなわち、無限大のラベル付きデータが存在しても教師あり学習では学習不可能な問題をSSLが学習可能な状況。

実験結果

リサーチクエスチョン

• RQ1 半教師付き学習が、教師あり学習と比較して理論的に無限大の改善を達成できる条件は何か？
• RQ2 データ分布に関するSSLの仮定が破綻した場合、半教師付き学習の理論的限界は何か？
• RQ3 弱い仮定、強い仮定、あるいは仮定なしという異なる仮定が、SSLにおける学習速度およびサンプル複雑度に与える影響は何か？
• RQ4 教師あり学習の対応する手法よりも性能が悪化しないことが保証された半教師付き学習者を構築することは可能か？
• RQ5 教師あり学習が失敗する状況で、教師なしデータがPAC学習を可能にする役割は何か？

主な発見

• 無限大のラベル付きデータが存在しても、教師あり学習では学習不可能な問題をSSLがPAC学習できる状況が存在し、これは無限大の改善可能性（unbounded improvability）を示している。
• データ分布に関する強い仮定が成立する場合、SSLは指数的学習速度 $ \sim e^{-n} $ を達成でき、教師あり学習の標準的な $ 1/\sqrt{n} $ 速度を大きく上回る。
• 弱い仮定のもとでは、SSLは定数倍の性能向上を達成するが、学習速度は $ 1/\sqrt{n} $ を超えて加速せず、これは教師あり学習の標準的レートそのものである。
• いかなる仮定も存在しない場合、教師なしデータを含めることで性能が低下する可能性があり、改善の理論的保証は存在しない。
• 教師あり学習の対応する手法よりも悪くならない半教師付き学習者を構築する研究分野が存在し、これは実用的導入における安全な保証を提供する。
• 理論的分析から、SSLにおける主なボトル neck はアルゴリズム自体ではなく、データ分布に関する仮定の妥当性にあることが示されている。