[論文レビュー] Whiteout: Gaussian Adaptive Noise Regularization in FeedForward Neural Networks

Yinan Li, Fang Liu|arXiv (Cornell University)|Dec 5, 2016

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

この論文は、$l_2$ 正則化に依存せずに $l_\nu$ スパarsity 正則化（$\nu \to (0,2)$）を実現する、フィードフォワードニューラルネットワークにおける新しいガウス型適応ノイズ正則化手法 Whiteout を提案する。ノイズを付加した経験的損失関数が理想の損失関数に理論的に収束することを確立し、ドロップアウト や シェイクアウト と比較して、特に小さなデータセットにおいて、より優れたロバスト性と一般化性能を示す。

ABSTRACT

Noise injection (NI) is an efficient technique to mitigate over-fitting in neural networks (NNs). The Bernoulli NI procedure as implemented in dropout and shakeout has connections with $l_1$ and $l_2$ regularization for the NN model parameters. We propose whiteout, a family NI regularization techniques (NIRT) through injecting adaptive Gaussian noises during the training of NNs. Whiteout is the first NIRT than imposes a broad range of the $l_{\gamma}$ sparsity regularization $(\gamma\in(0,2))$ without having to involving the $l_2$ regularization. Whiteout can also be extended to offer regularizations similar to the adaptive lasso and group lasso. We establish the regularization effect of whiteout in the framework of generalized linear models with closed-form penalty terms and show that whiteout stabilizes the training of NNs with decreased sensitivity to small perturbations in the input. We establish that the noise-perturbed empirical loss function (pelf) with whiteout converges almost surely to the ideal loss function (ilf), and the minimizer of the pelf is consistent for the minimizer of the ilf. We derive the tail bound on the pelf to establish the practical feasibility in its minimization. The superiority of whiteout over the Bernoulli NIRTs, dropout and shakeout, in learning NNs with relatively small-sized training sets and non-inferiority in large-sized training sets is demonstrated in both simulated and real-life data sets. This work represents the first in-depth theoretical, methodological, and practical examination of the regularization effects of both additive and multiplicative Gaussian NI in deep NNs.

研究の動機と目的

• $l_2$ 正則化を必要とせずに、$\nu \in (0,2)$ の範囲で柔軟な $l_\nu$ スパarsity 正則化を達成するノイズ注入正則化手法の開発。
• 深層ニューラルネットワークにおけるガウスノイズ注入の理論的基盤を確立し、特にノイズを加えた経験的損失関数の収束性と一貫性を検証すること。
• 適応的ノイズ注入を通じて、モデルの安定性を向上させ、入力の摂動に対する感受性を低減すること。
• ドロップアウト や シェイクアウト などの既存のベルヌーイ型ノイズ注入手法と比較して、手法論的および実験的評価を提供すること。
• 適応的lasso やグループlasso に類似した正則化形態をサポートするためのフレームワークの拡張。

提案手法

• ニューラルネットワーク学習中に適応的ガウスノイズを注入する、ノイズ注入正則化手法（NIRT）の家族である Whiteout を提案する。
• 一般化線形モデルの枠組みにおいて、ペナルティ項の閉形式を導出。ノイズの分散と正則化効果の関係を明示する。
• やや弱い条件下でも、ノイズを加えた経験的損失関数（pelf）が理想の損失関数（ilf）にほとんど確実に収束することを確立する。
• pelf の最小値が ilf の最小値と一貫していることを証明し、最適化の信頼性を保証する。
• pelf の尾部バウンドを導出し、摂動された損失を最小化する際の実用的妥当性を保証する。
• 適切なノイズ分散スケジューリングにより、適応的lasso やグループlasso に類似した正則化形態をサポートするように手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 適応的ガウスノイズ注入は、$l_2$ 正則化に依存せずに、$\nu \in (0,2)$ の範囲で広範な $l_\nu$ スパarsity 正則化を実現できるか？
• RQ2 Whiteout におけるノイズを加えた経験的損失関数（pelf）は、ほとんど確実に理想の損失関数（ilf）に収束するか？ また、その最小値は一貫しているか？
• RQ3 特に小さな学習データセットにおいて、Whiteout はドロップアウト や シェイクアウト などのベルヌーイ型 NIRT と比較して、一般化性能に優れているか？
• RQ4 既存の手法と比較して、Whiteout は学習を安定化させ、入力摂動に対する感受性を低減できるか？
• RQ5 Whiteout は、適応的lasso やグループlasso の正則化効果を模倣するように、どの程度拡張可能か？

主な発見

• Whiteout は、$l_2$ 正則化を必要とせず、$\nu \in (0,2)$ の範囲で $l_\nu$ スパarsity 正則化を達成し、標準的なドロップアウト や シェイクアウト よりも広い正則化範囲を実現する。
• Whiteout におけるノイズを加えた経験的損失関数（pelf）は、ほとんど確実に理想の損失関数（ilf）に収束し、理論的ロバスト性を保証する。
• pelf の最小値は、ilf の最小値と一貫しており、手法の最適化信頼性を裏付ける。
• 相対的に小さなサイズの学習データセットで、Whiteout はドロップアウト や シェイクアウト よりも優れた性能を示す。
• 大きなサイズの学習データセットでは、Whiteout は既存手法と同等以下の性能を示し、優れた一般化安定性を示す。
• Whiteout は、小さな入力摂動に対する感受性を低下させることで、モデルのロバスト性を向上させ、学習の安定性を高める。