[論文レビュー] Pushing the bounds of dropout

Gábor Melis, Charles Blundell+4 more|arXiv (Cornell University)|May 23, 2018

Topic Modeling参考文献 23被引用数 12

ひとこと要約

この論文は、ドロップアウト訓練を、同じ下界を持つ条件付きモデルの族に対するMAP推定として再解釈する。ドロップアウトの決定的バージョン—しばしば近似と見なされるが—実際には真の目的関数に対する最もタイトで正確な近似であることが示され、最適なソフトマックス温度調整と組み合わせることで、言語モデリングにおいて最先端の結果が得られる。

ABSTRACT

We show that dropout training is best understood as performing MAP estimation concurrently for a family of conditional models whose objectives are themselves lower bounded by the original dropout objective. This discovery allows us to pick any model from this family after training, which leads to a substantial improvement on regularisation-heavy language modelling. The family includes models that compute a power mean over the sampled dropout masks, and their less stochastic subvariants with tighter and higher lower bounds than the fully stochastic dropout objective. We argue that since the deterministic subvariant's bound is equal to its objective, and the highest amongst these models, the predominant view of it as a good approximation to MC averaging is misleading. Rather, deterministic dropout is the best available approximation to the true objective.

研究の動機と目的

• ドロップアウトの解釈と評価における曖昧さを解消する理論的基盤を提供すること。
• ドロップアウト訓練から導かれるモデル族の中での最良の性能を示すモデルを同定すること。
• 訓練後の最適な推論手法の選択によって、言語モデリングにおける一般化性能を向上させること。
• ヒューリスティックな評価手法に代わる、原理的かつ調整可能なアプローチ（ソフトマックス温度）を導入すること。

提案手法

• ドロップアウトを、ドロップアウトマスクごとの予測の集約方法が異なる、条件付きモデルの族に対するMAP推定として再定式化する。
• 標準ドロップアウト目的関数が、この族に属するすべてのモデルの共通の下界であることを導出する。決定的バージョンは、最もタイトな下界を持つ。
• 推論時にパワー平均（算術平均、幾何平均、決定的）を用いたモデル評価を提案し、その中から最も性能の良いものを選ぶ。
• テスト時に温度調整付きソフトマックスを導入し、最適モデルのバイアスを近似することで、効率的なハイパーパramータチューニングを可能にする。
• コストの高いMCドロップアウト評価を避けるために、小さな検証サブセット上で線形探索を用いて最適なソフトマックス温度を特定する。
• RNNベースの言語モデルにこの手法を適用し、評価パラメータを再調整することでパープレキシティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウト訓練中に最適化されている真の目的関数は何か？ そして、異なる推論手法とどのように関係しているか？
• RQ2 なぜ決定的ドロップアウトがしばしば良い近似と見なされるのか？ そして、実際にはこの族の中での最良のモデルであるのか？
• RQ3 訓練後にモデル族から最良のモデルを選択することで、言語モデリングの一般化性能を向上させられるか？
• RQ4 推論時にソフトマックス温度をチューニングすると性能が向上するか？ また、高価なMCドロップアウトの代理として機能するか？

主な発見

• 決定的ドロップアウトは、真の目的関数に対する最もタイトな下界を持つため、MCドロップアウトへの近似であるという一般的な信念とは異なり、真の目的関数に最も近い近似である。
• Penn Treebankデータセットでは、最適温度を用いた評価パラメータの再調整により、テストパープレキシティが58.3から55.3に改善された。
• Wikitext-2では、評価パラメータの検証セットでのチューニングのみで、パープレキシティが65.9から63.7に低下した。
• 決定的モデルの最適ソフトマックス温度は1未満であり、これは平滑化ではなく鋭化を示しており、小さな検証セット上で線形探索により効率的に特定された。
• 最適温度によるチューニングにより、パープレキシティが約0.5ポイント改善され、決定的推論に温度調整を加えることが、最良の評価手法の強力な代理であることが示された。