[論文レビュー] Noisy Recurrent Neural Networks

Soon Hoe Lim, N. Benjamin Erichson+2 more|arXiv (Cornell University)|Feb 9, 2021

Model Reduction and Neural Networks参考文献 88被引用数 6

ひとこと要約

本稿では、訓練中に隠れ状態にノイズを注入することで、モデルを暗黙的に正則化する、ノイズ付き再帰的ニューラルネットワーク（NRNNs）を提案する。NRNNsを離散化された確率微分方程式（SDE）としてモデル化することで、ノイズ注入が平坦な極小点を促進し、動的安定性を向上させ、分類マージンを拡大することを示した。これにより、入力の摂動に対してより高い耐性を示す一方で、継続的に最先端の性能を維持する。

ABSTRACT

We provide a general framework for studying recurrent neural networks (RNNs) trained by injecting noise into hidden states. Specifically, we consider RNNs that can be viewed as discretizations of stochastic differential equations driven by input data. This framework allows us to study the implicit regularization effect of general noise injection schemes by deriving an approximate explicit regularizer in the small noise regime. We find that, under reasonable assumptions, this implicit regularization promotes flatter minima; it biases towards models with more stable dynamics; and, in classification tasks, it favors models with larger classification margin. Sufficient conditions for global stability are obtained, highlighting the phenomenon of stochastic stabilization, where noise injection can improve stability during training. Our theory is supported by empirical results which demonstrate that the RNNs have improved robustness with respect to various input perturbations.

研究の動機と目的

• ノイズ注入がRNNの一般化および耐性に与える影響を理解する理論的枠組みを構築すること。
• 小さなノイズの範囲において、ノイズ注入が引き起こす暗黙の正則化効果を明示的な正則化子として導出すること。
• RNNにおけるノイズ誘発の安定性、平坦な極小点、および大きな分類マージンとの関係を確立すること。
• NRNNが入力摂動に対してより耐性があることを実験的に検証すること。一方で、継続的にクリーンデータ上で高い精度を維持すること。
• ノイズ注入が確率的安定化をもたらし、学習ダイナミクスを改善することを示すこと。

提案手法

• 入力データとノイズによって駆動される確率微分方程式（SDE）の離散化としてRNNをモデル化すること。
• 小さなノイズの範囲において、暗黙の正則化効果を特徴付ける明示的な正則化子を導出すること。
• ラプノフ安定性解析を用いて、ノイズ注入下でのグローバル安定性の十分条件を証明すること。
• RNNのダイナミクスとノイズ誘発正則化を関連づけて、分類マージンを関数として定式化すること。
• 加法的および乗法的ノイズを用いてNRNNを学習し、クリーンデータ上の性能を最適化するようにノイズレベルを調整すること。
• ベンチマークタスクにおいて、クリーンおよび摂動付き入力の下で、NRNNを最先端のRNN変種（例：CoRNN、Lipschitz RNN、Exponential RNN）と比較すること。

実験結果

リサーチクエスチョン

• RQ1 RNNにおけるノイズ注入は、学習プロセスの暗黙の正則化にどのように影響するか？
• RQ2 小さなノイズの範囲において、ノイズ注入が誘発する正則化子の明示的形態は何か？
• RQ3 ノイズ注入は、RNN学習における安定性と平坦な極小点の向上をもたらすか？
• RQ4 ノイズ注入はRNNの分類マージンを拡大するか？ もしそうであるなら、それは動的安定性とどのように関連しているか？
• RQ5 NRNNは、決定的RNNと比較して、入力摂動に対する耐性をどの程度向上させるか？

主な発見

• NRNNは、クリーンなMNISTおよび並び替えMNISTベンチマークで最先端の性能を達成し、クリーンデータにおけるテスト精度は94.9%であった。
• 白色ノイズ摂動（σ=0.3）の下で、NRNNは94.3%の精度を維持した。これは、CoRNN（29.1%）やExponential RNN（61.6%）を著しく上回った。
• ソルトアンドペッパー雑音（α=0.1）の下で、NRNNは88.6%の精度を達成した。これに対して、アンチシンメトリックRNNは72.6%、CoRNNは52.6%であった。
• NRNNのヘッセ行列の形状は、決定的RNNよりも滑らかであり、平坦な極小点を示している。
• ノイズ注入は確率的安定化をもたらし、連続時間NRNNにおいて、グローバル安定性が向上する理論的条件が示された。
• ノイズからの暗黙の正則化は、より大きな分類マージンを持つモデルを好む傾向があり、これは一般化性能および耐性の向上と関連している。