[論文レビュー] A Scale Mixture Perspective of Multiplicative Noise in Neural Networks

Eric Nalisnick, Anima Anandkumar+1 more|arXiv (Cornell University)|Jun 10, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用数 6

ひとこと要約

本稿では、深層ニューラルネットワークにおける乗法的ノイズ正則化の解析的理解を図るため、ベイジアンガウススケールミックスフレームワークを提案する。ノイズを階層的事前分布として再パrameter化することで、重みの平均と分散が大きいものを好む閉形式の正則化ペナルティを導出する。これはスパarsityではなくロバスト性を促進する。これにより、信号対ノイズ比のヒューリスティクスを上回り、知識蒸留と同等の性能を示す新しい prune ルール（SPR）が得られる。

ABSTRACT

Corrupting the input and hidden layers of deep neural networks (DNNs) with multiplicative noise, often drawn from the Bernoulli distribution (or 'dropout'), provides regularization that has significantly contributed to deep learning's success. However, understanding how multiplicative corruptions prevent overfitting has been difficult due to the complexity of a DNN's functional form. In this paper, we show that when a Gaussian prior is placed on a DNN's weights, applying multiplicative noise induces a Gaussian scale mixture, which can be reparameterized to circumvent the problematic likelihood function. Analysis can then proceed by using a type-II maximum likelihood procedure to derive a closed-form expression revealing how regularization evolves as a function of the network's weights. Results show that multiplicative noise forces weights to become either sparse or invariant to rescaling. We find our analysis has implications for model compression as it naturally reveals a weight pruning rule that starkly contrasts with the commonly used signal-to-noise ratio (SNR). While the SNR prunes weights with large variances, seeing them as noisy, our approach recognizes their robustness and retains them. We empirically demonstrate our approach has a strong advantage over the SNR heuristic and is competitive to retraining with soft targets produced from a teacher model.

研究の動機と目的

• 深層ニューラルネットワークにおける乗法的ノイズ正則化が過学習をどのように防ぐか、理論的裏付けを提供すること。
• ベイジアン事前分布の下で、乗法的ノイズの解析的非可解性をガウススケールミックス（GSM）として再定式化することで解消すること。
• 重みの事後平均と分散に依存する閉形式の正則化ペナルティを導出すること。その式は $\mathbb{E}^2[v] + \text{Var}[v]$ である。
• 導出したペナルティに基づき、信号対ノイズ比（SNR）のようなヒューリスティック手法とは対照的に、根拠に基づいたデータ駆動型重み prune 策略を開発すること。
• 提案された prune ルール（SPR）が、モデル圧縮の過程でテスト精度を SNR よりもよく維持でき、知識蒸留と同等の性能を示すかどうかを実験的に検証すること。

提案手法

• ネットワーク重みに平均0のガウス事前分布を設定し、ノイズ分散を確率的変数として扱うことで、深層ネットワークにおける乗法的ノイズをガウススケールミックス（GSM）としてモデル化する。
• 階層的再パラメータ化を用いて、ノイズと尤度を条件付き独立にすることで、タイプII最尤推定が可能になるようにする。
• 重みの事後平均と分散に依存する閉形式の正則化ペナルティを導出する。その式は $\mathbb{E}^2[v] + \text{Var}[v]$ である。
• 新たな prune ルール「信号＋ロバスト性（SPR）」を提案する：$|\mu_{l,j,k}| + \sigma_{l,j,k} < \tau$。このルールは平均と分散が大きい重みを保持する。
• トレーニング後にベルヌーイ乗法的ノイズを用いて学習した後、ポストリヤー分布からのサンプリングをラングヴィン動力学を用いて行い、prune ルールの実証的評価を可能にする。
• MNIST、IMDB、Million Song Dataset（MSD）の分類および回帰タスクにおいて、SPR prune と SNR および知識蒸留（ソフトターゲット再訓練）を比較する。

実験結果

リサーチクエスチョン

• RQ1 乗法的ノイズ正則化は、深層ニューラルネットワークにおけるネットワーク重みの分布にどのように影響を与えるか？
• RQ2 ベイジアン階層的フレームワークを用いることで、深層ネットワークにおける乗法的ノイズの機能的複雑性を解析的に解消できるか？
• RQ3 乗法的ノイズが誘導する暗黙のインダクティブバイアスは何か。具体的には、スパarsity を促進するのか、スケーリング不変性を促進するのか？
• RQ4 導出した正則化ペナルティは、信号対ノイズ比のような既存のヒューリスティックと比較して、優れた根拠に基づいた重み prune 策をもたらすか？
• RQ5 提案された prune ルール（SPR）は、より高いモデル圧縮を実現しつつ、知識蒸留と同等の性能を達成できるか？

主な発見

• 乗法的ノイズ正則化はガウススケールミックスを誘発し、タイプII最尤推定を用いた正則化効果の閉形式解析が可能になる。
• 導出したペナルティは、重みがスパースであるか、スケーリング不変性を示すかの両方を促進する。特に、高分散の重みはロバストであり、新しいルールで保持される。
• SPR prune ルール（$|\mu| + \sigma < \tau$）は、テスト誤差が急激に上昇するまでのパラメータ削除率が、SNR ヒューリスティクスよりも少なくとも20%高い。
• IMDBセンチメント分類タスクにおいて、SPR で prune されたモデルは、50%のパラメータ削減まで、ソフトターゲット再訓練モデルと同等またはそれを上回る性能を維持した。
• MNIST、IMDB、MSD における実験結果から、SPR は分類および回帰タスクを問わず、多様なデータモダリティにおいて SNR よりも性能をよりよく維持することが示された。
• 分析の結果、高分散の重みはノイジーではなく、むしろロバストであることが示唆され、SNR ヒューリスティクスが最初にそれらを削除するのとは対照的である。