[論文レビュー] Dropout Training as Adaptive Regularization

Stefan Wager, Sida Wang+1 more|arXiv (Cornell University)|Jul 4, 2013

Machine Learning and Data Classification参考文献 23被引用数 273

ひとこと要約

この論文はドロップアウト訓練を一般化線形モデルにおける適応的正則化としてフレームワーク化し、特徴量を逆対角フィッシャー情報行列の平方根の逆行列でスケーリングした後、1次近似でL2正則化と同等であることを示している。AdaGradとの関連を確立し、未ラベルデータを用いて正則化子を改善する半教師あり手法を提案しており、IMDBレビューデータセットで最先端の性能を達成している。

ABSTRACT

Dropout and other feature noising schemes control overfitting by artificially corrupting the training data. For generalized linear models, dropout performs a form of adaptive regularization. Using this viewpoint, we show that the dropout regularizer is first-order equivalent to an L2 regularizer applied after scaling the features by an estimate of the inverse diagonal Fisher information matrix. We also establish a connection to AdaGrad, an online learning algorithm, and find that a close relative of AdaGrad operates by repeatedly solving linear dropout-regularized problems. By casting dropout as regularization, we develop a natural semi-supervised algorithm that uses unlabeled data to create a better adaptive regularizer. We apply this idea to document classification tasks, and show that it consistently boosts the performance of dropout training, improving on state-of-the-art results on the IMDB reviews dataset.

研究の動機と目的

• ドロップアウトが過学習を制御する背後にある理論的メカニズムを理解すること。
• ドロップアウトを一般化線形モデルにおける適応的正則化の形式として形式化すること。
• ドロップアウト訓練とAdaGrad最適化アルゴリズムとの間の関連を確立すること。
• 未ラベルデータを用いてドロップアウト正則化子を改善する半教師あり学習手法を開発すること。
• 提案手法がベンチマークテキスト分類データセットで既存の最先端手法を上回ることを実証的に示すこと。

提案手法

• 論文は、ドロップアウト訓練が、推定された対角フィッシャー情報行列の平方根の逆行列で特徴量を変換した後、1次近似でL2正則化と同等であることを導出している。
• ドロップアウト正則化子が、ロジスティック回帰において珍しいが有用な特徴量を好むことが示され、これは適忾的正則化に類似している。
• 各反復で線形化されたドロップアウト正則化問題を解くアルゴリズムは、AdaGradに非常に近い関係にあることが同定された。
• 未ラベルデータを用いて正則化強度を推定するペナルティ関数を通じて、ラベル付きデータと未ラベルデータを組み合わせた半教師あり正則化子が構築された。
• 最適化のため、正則化子の2次近似が用いられ、交差検証を用いて未ラベルデータの割引係数を調整した。
• このアプローチは完全に判別的であり、生成モデルのフィッティングを必要としない。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト訓練は一般化線形モデルにおける正則化とどのように関連しているか？
• RQ2 ドロップアウトは適応的L2正則化の一種として解釈可能か？ もしそうなら、適応的スケーリングはどのように決定されるか？
• RQ3 ドロップアウト訓練とAdaGrad最適化アルゴリズムとの間にはどのような関連があるか？
• RQ4 未ラベルデータを用いてドロップアウト訓練の正則化を改善可能か？ もしそうなら、その方法は何か？
• RQ5 提案された半教師あり手法は、標準的なベンチマークデータセットで性能向上をもたらすか？

主な発見

• ドロップアウト訓練は、推定された対角フィッシャー情報行列の平方根の逆行列で特徴量をスケーリングした後、1次近似でL2正則化と同等である。
• この手法は、特徴量の統計的性質に基づいて適応的に正則化することで一般化性能を向上させ、ロジスティック回帰において珍しいが有用な特徴量を好む。
• 各ステップで線形化されたドロップアウト正則化問題を解くアルゴリズムは、AdaGradに非常に近い関係にあり、両者の間には深い関連が示された。
• 未ラベルデータを用いて正則化子を精緻化することで、複数のドキュメント分類タスクで一貫した性能向上が得られた。
• IMDBレビューデータセットでは、半教師ありドロップアウト手法が最先端の精度を達成し、従来手法を上回った。
• 大量のラベル付きデータがある状況でも改善が観察されたことから、未ラベルデータが正則化子に意味のある誘導的バイアスを提供していることが示された。