[論文レビュー] A Bayesian encourages dropout

Shin‐ichi Maeda|arXiv (Cornell University)|Dec 22, 2014

Gaussian Processes and Bayesian Inference参考文献 11被引用数 35

ひとこと要約

この論文は、ドロップアウトをニューラルネットワークにおけるベイジアン解釈を提供し、ドロップアウト率をマージナル尤度を最適化する学習可能なパラメータとして扱う近似的ベイジアンモデル平均化としてフレームワーク化する。ドロップアウトをモデル構造のベイジアン推論の近似法として扱うことで、ドロップアウト率の適応的最適化が可能となり、固定率ドロップアウトと比較して重み学習と予測性能の両方が向上する。

ABSTRACT

Dropout is one of the key techniques to prevent the learning from overfitting. It is explained that dropout works as a kind of modified L2 regularization. Here, we shed light on the dropout from Bayesian standpoint. Bayesian interpretation enables us to optimize the dropout rate, which is beneficial for learning of weight parameters and prediction after learning. The experiment result also encourages the optimization of the dropout.

研究の動機と目的

• ドロップアウトをニューラルネットワークのアーキテクチャの近的ベイジアンモデル平均化として正式にベイジアン枠組みで解釈すること。
• ドロップアウト率を固定値ではなく、マージナル尤度を最適化する学習可能なハイパーパrameterとして位置づけること。
• 最適化されたドロップアウト率を通じて、モデル構造の真の事後分布を近似することで、重み学習と予測性能を向上させること。
• 固定グローバルレートではなく、各隠れユニットごとにドロップアウト率を調整できるように、標準ドロップアウトアルゴリズムを拡張し、柔軟性とデータに特化した適応性を高めること。

提案手法

• 論文は、各重みを $ W_{ij} = z_j \tilde{W}_{ij} $ としてモデル化し、$ z_j \sim \text{Ber}(p_j) $ とすることで、ドロップアウト率 $ p_j $ を学習可能とする階層ベイジアンプロセスとしてドロップアウトを扱う。
• マージナル尤度 $ \log p(D|\theta) $ は、すべてのサブモデルを平均化することで近似され、$ \sum_{\mathbf{z}} p(\mathbf{y}|\mathbf{x}, \mathbf{z}, \theta) p(\mathbf{z}) $ と表される。ここで $ p(\mathbf{z}) $ は学習可能なレートを持つベルヌーイ事前分布である。
• サブモデル事後分布下での期待対数尤度を最大化することで、ドロップアウト率 $ p_j $ を最適化し、真のモデル平均化重みを効果的に学習する。
• 固定グローバルレートではなく、各ユニットごとのドロップアウトレートを許容することで、標準ドロップアウトを拡張し、より柔軟でデータに適応した正則化を可能にする。
• 時間的・状態的スパarsityをモデル化できるように、VARのような構造的モデルへも拡張し、$ A_k \sim Z^{(k)} \tilde{A}_k $ とし、$ Z^{(k)} $ の各要素を学習可能なベルヌーイ分布にすることで、時間的・状態的スパarsityを表現する。
• 標準ドロップアウトよりも計算コストが高くなるが、特に高次元のモデル選択問題において、ベイジアンモデル平均化のより良い近似を提供する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトをどのように正式にベイジアンフレームワーク内で解釈することで、モデルの汎化性能を向上させられるか？
• RQ2 ドロップアウト率をマージナル尤度と予測分布をよりよく近似する学習可能なパラメータとして最適化できるか？
• RQ3 固定グローバルレートと比較して、ユニットごとのドロップアウト率を学習することで、重み学習とテスト性能にどのような影響を与えるか？
• RQ4 本手法は、標準ドロップアウトや他の正則化手法と比較して、モデル選択および予測精度の面でどのように異なるか？
• RQ5 このベイジアン解釈は、時間的・状態的スパarsityを持つベクトル自己回帰（VAR）のような構造的モデルへも拡張可能か？

主な発見

• ベイジアン解釈により、ドロップアウトは、ドロップアウトマスクで定義される各サブモデルがその事後確率に応じて重み付けされる近的ベイジアンモデル平均化として位置づけられる。
• ドロップアウト率を学習可能なパラメータとして最適化することで、マージナル尤度の近似が改善され、学習と汎化性能の両方が向上する。
• 特にモデルの複雑性が高い状況において、固定レートの標準ドロップアウトと比較して、より優れた予測性能を達成する。
• ユニットのグループ化や制約を施すことで、構造的スパarsityパターンを実現でき、時系列データやその他の構造的データの効率的モデリングが可能になる。
• VARのような他のモデルに対しても一般化可能であり、変数およびラグごとの学習可能なドロップアウトレートにより、複雑なスパarsityパターンを捉えることができる。
• 標準ドロップアウトよりも計算コストが高くなるが、特に高次元のモデル選択タスクにおいて、より正確なベイジアン近似を提供する。