[論文レビュー] Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data

Colin Wei, Kendrick Shen+2 more|arXiv (Cornell University)|Oct 7, 2020

Machine Learning and Data Classification参考文献 68被引用数 74

ひとこと要約

本論文は、半教師あり学習、ドメイン適応、教師なし学習の文脈において、深層ネットワークを用いた自己学習の最初の統一的理論的分析を提供する。『拡張性』仮定を導入し、この条件下で自己学習と入力一貫性正則化が、高い精度を達成する母集団目的を最小化することを示している。深層ネットワークのマージンとリプシッツ連続性に関して、サンプル複雑度の上限が多項式的であることを示している。

ABSTRACT

Self-training algorithms, which train a model to fit pseudolabels predicted by another previously-learned model, have been very successful for learning with unlabeled data using neural networks. However, the current theoretical understanding of self-training only applies to linear models. This work provides a unified theoretical analysis of self-training with deep networks for semi-supervised learning, unsupervised domain adaptation, and unsupervised learning. At the core of our analysis is a simple but realistic "expansion" assumption, which states that a low probability subset of the data must expand to a neighborhood with large probability relative to the subset. We also assume that neighborhoods of examples in different classes have minimal overlap. We prove that under these assumptions, the minimizers of population objectives based on self-training and input-consistency regularization will achieve high accuracy with respect to ground-truth labels. By using off-the-shelf generalization bounds, we immediately convert this result to sample complexity guarantees for neural nets that are polynomial in the margin and Lipschitzness. Our results help explain the empirical successes of recently proposed self-training algorithms which use input consistency regularization.

研究の動機と目的

• 線形モデルを超える、深層ニューラルネットワークを用いた自己学習の理論的基盤を構築すること。
• 半教師あり学習、教師なしドメイン適応、教師なし学習の文脈における自己学習の分析を統一すること。
• 収束が高精度のモデルに至ることを保証する最小限で現実的な仮定（特に拡張性仮定）を同定すること。
• 理論的保証を深層ネットワークの実用的汎化境界と結びつけること。
• 最近の自己学習アルゴリズムで見られる入力一貫性正則化の経験的成功を説明すること。

提案手法

• 『拡張性』仮定を導入：低確率のデータ部分集合が、高確率の近傍に拡張されることを仮定する。
• 異なるクラスの例の近傍同士の最小限の重複を課し、分離可能性を保証する。
• 自己学習と入力一貫性正則化に基づく母集団目的を分析する。
• 市販の汎化境界を用いて、深層ネットワークのサンプル複雑度保証を導出する。
• これらの目的の最小化解が、提示された仮定の下で高精度の解に収束することを確立する。
• マージンとリプシッツ定数に関して多項式的である境界を通じて、理論的収束を実用的性能と結びつける。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークを用いた自己学習が、半教師ありおよび教師なし設定において、どのような条件下で高精度のモデルに収束するのか？
• RQ2 自己学習における信頼性の高い一般化を保証するために、拡張性仮定をどのように形式化できるか？
• RQ3 提案された仮定の下で、入力一貫性正則化がモデル精度を向上させる役割は何か？
• RQ4 理論的保証が、深層ニューラルネットワークのサンプル複雑度境界にどのように翻訳されるか？
• RQ5 なぜ最近の自己学習アルゴリズムで入力一貫性正則化が強力な経験的結果を達成しているのか？

主な発見

• 拡張性仮定と最小限のクラス近傍重複の下で、自己学習と入力一貫性正則化は、真のラベルに関して高い精度を達成する。
• 自己学習および入力一貫性正則化における母集団目的の最小化解は、高精度の解に収束する。
• 汎化境界から、ネットワークのマージンとリプシッツ定数に関して多項式的であるサンプル複雑度が導かれる。
• 理論的枠組みは、最近の自己学習手法における入力一貫性正則化の経験的成功を説明している。
• この分析は、半教師あり学習、教師なしドメイン適応、教師なし学習の文脈において一貫して適用可能である。
• 結果は、ラベルなしデータを用いた低データ環境における自己学習の頑健性の理論的根拠を提供する。