[論文レビュー] Learning with Pseudo-Ensembles

Phil Bachman, Ouais Alsharif+1 more|arXiv (Cornell University)|Dec 16, 2014

Tensor decomposition and applications参考文献 22被引用数 360

ひとこと要約

この論文は、制御されたノイズプロセスを用いて1つの親モデルから摂動させた子モデルの集合を生成することで、頑健なモデルを訓練するためのフレームワーク「疑似アンサンブル（pseudo-ensembles）」を導入する。入力と構造的ノイズに対するモデルの頑健性を向上させる、新しい正則化項を提案し、半教師あり学習で最先端の性能を達成するとともに、感情分析ベンチマークにおいて元のモデルをはるかに上回る性能を示す、再帰的ニューラルテンソルネットワーク（Recursive Neural Tensor Network）の大幅な改善を実現した。

ABSTRACT

We formalize the notion of a pseudo-ensemble, a (possibly infinite) collection of child models spawned from a parent model by perturbing it according to some noise process. E.g., dropout (Hinton et. al, 2012) in a deep neural network trains a pseudo-ensemble of child subnetworks generated by randomly masking nodes in the parent network. We present a novel regularizer based on making the behavior of a pseudo-ensemble robust with respect to the noise process generating it. In the fully-supervised setting, our regularizer matches the performance of dropout. But, unlike dropout, our regularizer naturally extends to the semi-supervised setting, where it produces state-of-the-art results. We provide a case study in which we transform the Recursive Neural Tensor Network of (Socher et. al, 2013) into a pseudo-ensemble, which significantly improves its performance on a real-world sentiment analysis benchmark.

研究の動機と目的

• ドロップアウトや特徴ノイズ処理といった手法を統一的に扱うモデル摂動の枠組みとして、疑似アンサンブルの概念を形式化すること。
• 入力と内部構造の両方の摂動に対してモデルの挙動が頑健になるようにする正則化項の開発。
• 従来、理論的裏付けが弱いとされる半教師あり学習に、ドロップアウトに類似した正則化の適用を拡張すること。
• パラメータと潜在空間に対する体系的な摂動によって、既存のモデル（例：再帰的ニューラルテンソルネットワーク）の性能を向上させること。

提案手法

• 疑似アンサンブルとは、親モデルをノイズプロセス $ p_{\xi} $ を用いて摂動させることで生成される子モデルの集合として定義される。ここで、各 $ f_{\theta}(x;\xi) $ は親モデル $ f_{\theta} $ の摂動版である。
• コアとなる正則化項は、すべての摂動子モデルにおける期待損失を最小化することにあり、次式で形式化される： $ \mathbb{E}_{(x,y)\sim p_{xy}} \mathbb{E}_{\xi\sim p_{\xi}} \mathcal{L}(f_{\theta}(x;\xi), y) $。
• RNTNに適用された2つの摂動メカニズムは以下の通りである：(1) 部分空間サンプリング、ここで前方伝搬ごとに半分の潜在次元のみが使用される。および (2) 重みのぼやけ（fuzzing）、ここで訓練中にパラメータに平均0のガウスノイズが加えられる。
• 重みのぼやけは、損失関数をガウス分布で畳み込むことと解釈され、曲率を低下させ、最適化の安定性を向上させる。
• 特にRNTNのような $ \mathcal{O}(n^3) $ の複雑性を持つモデルにおいて、計算効率を維持するためにパラメータスライシングを用いる。
• このフレームワークは半教師あり学習へ自然に拡張可能であり、実世界のデータセットにおいて既存手法を上回る性能を発揮した。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトや特徴ノイズ処理といった手法を、モデル摂動の統一的枠組みとして形式的に定式化・統合することは可能か？
• RQ2 疑似アンサンブルと、独立したモデル学習に依存する伝統的なアンサンブル手法との関係は何か？
• RQ3 モデル空間の摂動に対する頑健性に基づく正則化項は、完全教師あり設定において標準的なドロップアウトを上回る性能を発揮できるか？
• RQ4 この正則化項は、これまで広く適用されていなかった半教師あり学習に一般化して効果を発揮するか？
• RQ5 潜在空間とパラメータにおける構造的な摂動によって、強力なモデル（例：RNTN）の性能を著しく向上させられるか？

主な発見

• 提案された正則化項は、完全教師あり設定において標準的なドロップアウトと同等の性能を達成し、その有効性が裏付けられた。
• この手法は、半教師あり学習において最先端の性能を達成し、実世界のデータセットにおいて既存手法を上回った。
• 再帰的ニューラルテンソルネットワークに適用した結果、部分空間サンプリングと重みのぼやけの両方を用いた疑似アンサンブルアプローチが、バイナリ感情分類タスクで88.9％の精度を達成し、元のRNTNおよび他のベースラインを上回った。
• 部分空間サンプリングのみで元のRNTNを上回る性能が得られ、重みのぼやけがさらに性能を向上させ、両者の摂動が性能向上に加法的に寄与した。
• 両摂動タイプの組み合わせにより、コンactなRNTNモデルが元の完全なRNTNの性能をも凌駕した。これは、構造的なモデル空間正則化の強力さを示している。
• パラメータスライシングの使用により、RNTNの $ \mathcal{O}(n^3) $ の複雑性にもかかわらず、より大きなモデルの効率的訓練が可能となり、スケーラビリティが確保された。