[論文レビュー] A PAC-Bayesian Tutorial with A Dropout Bound

David McAllester|arXiv (Cornell University)|Jul 8, 2013

Machine Learning and Algorithms参考文献 9被引用数 70

ひとこと要約

本論文は、PAC-Bayesian一般化境界に関する包括的なチュートリアルを提示し、3つの主要な境界を導入する：有限精度ルールのためのオカム境界、$L_2$正則化とドロップアウトを伴う確率的ルール選択のためのPAC-Bayesian境界、およびバギングなどの分散低減技術を示唆するよりタイトなトレーニング分散境界。トレーニング分散境界は他の境界を上回るが、解釈が難しく、従来の境界よりもドロップアウトの分析に意味のある洞察を提供する。

ABSTRACT

This tutorial gives a concise overview of existing PAC-Bayesian theory focusing on three generalization bounds. The first is an Occam bound which handles rules with finite precision parameters and which states that generalization loss is near training loss when the number of bits needed to write the rule is small compared to the sample size. The second is a PAC-Bayesian bound providing a generalization guarantee for posterior distributions rather than for individual rules. The PAC-Bayesian bound naturally handles infinite precision rule parameters, $L_2$ regularization, {\em provides a bound for dropout training}, and defines a natural notion of a single distinguished PAC-Bayesian posterior distribution. The third bound is a training-variance bound --- a kind of bias-variance analysis but with bias replaced by expected training loss. The training-variance bound dominates the other bounds but is more difficult to interpret. It seems to suggest variance reduction methods such as bagging and may ultimately provide a more meaningful analysis of dropouts.

研究の動機と目的

• 機械学習研究者向けにPAC-Bayesian理論の簡潔でアクセス可能な概要を提供すること。
• 無限精度パラメータを有するモデルを対象とした教師あり学習における一般化境界の理論的基盤を確立すること。
• ドロップアウト学習の性能をPAC-Bayesianの視点から分析すること。
• トレーニング分散境界が、既存の境界と比較してよりタイトで解釈可能な代替手段としての可能性を調査すること。
• 経験的損失分散を一般化境界に組み込むことの限界を明確にすること。

提案手法

• ユニオンバウンドとチェルノフ不等式を用いてオカム境界を導出し、一般化誤差を事前確率の対数と標本サイズに関連付ける。
• 事後分布から抽出された確率的ルールの期待損失を制御するPAC-Bayesian境界を導入し、事後分布と事前のKLダイバージェンスを組み込む。
• PAC-Bayesianフレームワークを$L_2$正則化とドロップアウト学習に適用し、ドロップアウトが特定の事後分布を持つベイジアン平均化の一種として解釈できることを示す。
• バイアスを期待トレーニング損失に置き換えたトレーニング分散境界を提案し、一般化誤差のよりタイトな上界を提供する。
• トレーニング分散境界をPAC-Bayesian事後分布と組み合わせて新たな境界を導出するが、解析は依然として緩く、解釈が難しい。
• 経験的損失分散を組み込んだことでオカム境界をタイトにし、しかし、未知の外れ値のリスクがあるため、この改善は本質的に限界に達することを示す。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesian理論は、$L_2$正則化学習におけるような無限精度パラメータを有するモデルに対し、一般化保証を提供できるか？
• RQ2 PAC-Bayesianフレームワークは、ドロップアウト学習をベイジアンモデル平均化の一種として自然に扱えるか？
• RQ3 他の境界を上回るトレーニング分散境界は、頑健な学習アルゴリズムの設計をどの程度指針として提供できるか？
• RQ4 経験的損失分散は一般化境界を顕著に改善できるか、それとも根本的に制限されているか？
• RQ5 損失分散を境界に組み込んでも、分散がゼロであっても顕著な改善が得られないのはなぜか？

主な発見

• トレーニング分散境界は、オカム境界およびPAC-Bayesian境界よりもタイトであり、一般化誤差のより正確な特徴付けを提供する可能性がある。
• トレーニング分散境界は、バギングやブースティングなどの分散低減技術が一般化を向上させうることを示唆し、こうした手法に新たな理論的根拠を提供する。
• 経験的損失分散がゼロであっても、最良のオカムスタイル境界は元のオカム境界の2倍以内に留まるため、分散の組み込みによる利点は限定的である。
• PAC-Bayesian事後分布は、一般化のための単一で最適な事後分布を定義する合理的な方法を提供するが、トレーニング分散境界には同様の最適なアルゴリズムは知られていない。
• PAC-Bayesian境界において事前分布をデータ依存の分布に置き換えると、自明な境界が得られることから、緩さを導入せずにこうした境界をタイトにすることは困難であることが示される。
• ドロップアウト学習の境界はPAC-Bayesianフレームワークを介して導出され、ドロップアウトが特定の事後分布を持つベイジアン平均化の一種として解釈できることを示している。