[論文レビュー] Statistical and Algorithmic Insights for Semi-supervised Learning with Self-training

Samet Oymak, Talha Cihad Gülcü|arXiv (Cornell University)|Jun 19, 2020

Machine Learning and ELM参考文献 41被引用数 15

ひとこと要約

この論文は、ガウス・ミックスチャネル・モデルを用いた線形分類器における自己学習の理論的洞察を提供し、信頼度ベースの除外と正則化が収束性および一般化性能を向上させることを示している。クラスマージンとリッジ正則化が、非最適固定点を回避するために重要であることが確立され、自己学習と弱い監督の間の関係が、損失のランドスケープの整合性を通じて形式化されている。

ABSTRACT

Self-training is a classical approach in semi-supervised learning which is successfully applied to a variety of machine learning problems. Self-training algorithm generates pseudo-labels for the unlabeled examples and progressively refines these pseudo-labels which hopefully coincides with the actual labels. This work provides theoretical insights into self-training algorithm with a focus on linear classifiers. We first investigate Gaussian mixture models and provide a sharp non-asymptotic finite-sample characterization of the self-training iterations. Our analysis reveals the provable benefits of rejecting samples with low confidence and demonstrates that self-training iterations gracefully improve the model accuracy even if they do get stuck in sub-optimal fixed points. We then demonstrate that regularization and class margin (i.e. separation) is provably important for the success and lack of regularization may prevent self-training from identifying the core features in the data. Finally, we discuss statistical aspects of empirical risk minimization with self-training for general distributions. We show how a purely unsupervised notion of generalization based on self-training based clustering can be formalized based on cluster margin. We then establish a connection between self-training based semi-supervision and the more general problem of learning with heterogenous data and weak supervision.

研究の動機と目的

• 半教師あり学習における線形分類器に対して、自己学習がいつ、なぜ機能するかを理解すること。
• 信頼度しきい値処理と正則化が自己学習の収束性および性能に与える影響を分析すること。
• 自己学習から得られるクラスターマージンに基づいた、非教師ありの一般化の概念を形式化すること。
• 自己学習を、異種データと弱い監督の問題に広く関連付けること。
• ガウス・ミックスチャネル・モデル下での自己学習に対して、非漸近的かつ有限標本の理論的保証を提供すること。

提案手法

• 2成分のガウス・ミックスチャネル・モデル（GMM）下での自己学習を分析し、最適な分類器と自己学習出力との相関の正確な有限標本ダイナミクスを導出する。
• 非漸近的かつ確率的分布分析を用いて、反復処理におけるモデル性能の変化を特徴付ける。
• 自己学習が有用な解に収束するかどうかを決定するための、混合成分間の距離に関するマージンに基づく条件を導入する。
• リッジ正則化と早期停止を適用し、自己学習を主固有方向に導くことで、パワー・イテレーションの動作に類似させる。
• ラデマッハ複雑度を用いた統計的学習バウンドを形式化し、弱い監督（自己学習）と強い監督（ラベル付きデータ）を結びつける。
• 監視付きと非監視付きの損失関数の間の整合性を、部分集合の交差を通じて定義し、少数のラベル付きサンプルで一般化保証を得ることを可能にする。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、自己学習がどのようにしてモデルの精度を確実に向上させるのか、どのような条件下で成立するか？
• RQ2 低信頼度の偽ラベル例を除外することで、自己学習の性能にどのような影響が生じるか？
• RQ3 クラスマージン（混合成分間の分離度）は、自己学習の収束性にどのような役割を果たすか？
• RQ4 正則化と早期停止は、マージンが欠如している状況においても、自己学習の性能を補うことができるか？
• RQ5 自己学習を、弱い監視付き学習および異種データの学習問題と正式にどのように結びつけることができるか？

主な発見

• 信頼度しきい値処理を施した自己学習は、有限標本においても、信頼性の低い偽ラベルを除外することで、精度の向上を確実に実現する。
• 混合成分間にマージンが存在しない場合、最小二乗損失下での正則化なしの自己学習は、有用な解に収束しないことが、数学的に証明できる。
• リッジ正則化と早期停止により、自己学習は主固有方向に集中することで、良いモデルに収束することができ、これはパワー・イテレーションに類似した挙動である。
• 理論的分析により、自己学習が弱い監視付き学習の一形態として見なせ、監視付きと非監視付きの損失の部分集合が交差する場合に一般化が保証されることを示した。
• 統計的学習バウンドを確立した：十分に多くの未ラベル付きデータがあれば、探索空間が狭められ、少数のラベル付きサンプルで十分に一般化が達成できる。
• 本フレームワークにより、自己学習から生じるクラスターマージンに基づいた非教師あり一般化の概念が形式化され、自己教師あり学習の統計的基盤が提供された。