[論文レビュー] Adding noise to the input of a model trained with a regularized objective

Salah Rifai, Xavier Glorot+2 more|arXiv (Cornell University)|Apr 16, 2011

Gaussian Processes and Bayesian Inference参考文献 10被引用数 65

ひとこと要約

この論文では、入力ノイズを追加し、モデルのヤコビアンのL2ノルムに対して明示的な罰則を課すことによって、ニューラルネットワークにおける一般化性能を向上させる、新しい正則化手法を提案する。ノイズ付き目的関数の2階テイラー展開を用いることで、特にヘッシアン罰則を含む高次正則化項を明示的な計算なしに近似・制御可能となり、計算コストの増加が最小限であるにもかかわらず、より高いロバスト性とテスト精度を達成する。

ABSTRACT

Regularization is a well studied problem in the context of neural networks. It is usually used to improve the generalization performance when the number of input samples is relatively small or heavily contaminated with noise. The regularization of a parametric model can be achieved in different manners some of which are early stopping (Morgan and Bourlard, 1990), weight decay, output smoothing that are used to avoid overfitting during the training of the considered model. From a Bayesian point of view, many regularization techniques correspond to imposing certain prior distributions on model parameters (Krogh and Hertz, 1991). Using Bishop's approximation (Bishop, 1995) of the objective function when a restricted type of noise is added to the input of a parametric function, we derive the higher order terms of the Taylor expansion and analyze the coefficients of the regularization terms induced by the noisy input. In particular we study the effect of penalizing the Hessian of the mapping function with respect to the input in terms of generalization performance. We also show how we can control independently this coefficient by explicitly penalizing the Jacobian of the mapping function on corrupted inputs.

研究の動機と目的

• 限られたデータやノイズの多いデータセットで学習するニューラルネットワークの一般化性能を向上させること。
• 入力ノイズによって生じる高次正則化項を理論的に裏付けられた方法で制御すること。
• モデルのマッピング関数におけるヤコビアンとヘッシアンノルムを独立して制御できること。
• 高次導関数の明示的計算と比較して、計算コストを低減しつつ正則化の利点を維持すること。

提案手法

• 入力にノイズが加わった状態での損失関数のテイラー展開を用い、入力の汚損が与える影響を近似する。
• 入力ノイズによって誘発される罰則項を、モデル出力の入力に関するヤコビアンおよびヘッシアンの関数として導出する。
• 小さな入力摂動に対して局所的不変性を強制するために、モデルの入力に関するヤコビアンのL2ノルムに対して明示的な罰則を課す。
• Bishop（1995）の近似を用いて、入力ノイズと有効な正則化目的関数との関係を確立する。
• ヤコビアンとヘッシアン罰則の強さを独立して調整可能なハイパーパrameterを用いて正則化強度を制御する。
• 弱いノイズ近似を用いることで、高次導関数を直接計算せずに解析的に取り扱える正則化項を導出する。

実験結果

リサーチクエスチョン

• RQ1 入力にノイズを追加すると、目的関数内の正則化項にどのような影響を与えるか？
• RQ2 ヘッシアンなどの高次導関数を明示的に計算せずに、モデル出力の高次導関数を効果的に正則化できるか？
• RQ3 ヤコビアンとヘッシアンノルムを併せて罰則化することで、一般化性能とロバスト性にどのような影響を与えるか？
• RQ4 テスト誤差の観点から、標準的な正則化手法（重み減衰や早期停止）と比較して、本手法はどのように優れているか？
• RQ5 損失関数の平坦性を、訓練点の周囲で独立して制御できるか？

主な発見

• MNISTでは、標準的なMLP（1.82%）を上回る1.19%のテスト誤差を達成した。
• MNIST-BINARYデータセットでは、ノイズとヤコビアン正則化を組み合わせることで誤差が1.51%に低下し、標準的なMLPの2.01%を下回った。
• 図2で示されるように、入力の汚損に対するロバスト性が向上しており、ノイズのある入力でも一般化誤差が低かった。
• MNISTにおける活性化ヒストограмムの結果から、正則化モデルは線形領域および飽和領域に活性化を集約しており、平坦で安定した表現を示している。
• 理論的分析により、入力ノイズがヤコビアンおよびヘッシアンを含む正則化項を誘発することが確認され、これらは明示的な罰則項によって独立して制御可能である。
• 高次導関数の明示的計算と比較して、計算コストがほとんど増加しない効率的な代替手法を提供しており、標準的な学習と比較してわずかなオーバーヘッドしか発生しない。