[論文レビュー] On the Inherent Regularization Effects of Noise Injection During Training

Oussama Dhifallah, Yue M. Lu|arXiv (Cornell University)|Feb 15, 2021

Gaussian Processes and Bayesian Inference参考文献 39被引用数 13

ひとこと要約

本論文は、ランダム特徴モデルにおける学習データへのノイズ注入の理論的分析を提供し、ガウスノイズの注入が漸近的に重み付きリッジ正則化を誘発することを示している。主な結果は、ノイズ注入回数が増加するにつれて、正則化効果が特定の解析的に導出されたリッジペナルティを学習目的関数に追加することと等価になることである。

ABSTRACT

Randomly perturbing networks during the training process is a commonly used approach to improving generalization performance. In this paper, we present a theoretical study of one particular way of random perturbation, which corresponds to injecting artificial noise to the training data. We provide a precise asymptotic characterization of the training and generalization errors of such randomly perturbed learning problems on a random feature model. Our analysis shows that Gaussian noise injection in the training process is equivalent to introducing a weighted ridge regularization, when the number of noise injections tends to infinity. The explicit form of the regularization is also given. Numerical results corroborate our asymptotic predictions, showing that they are accurate even in moderate problem dimensions. Our theoretical predictions are based on a new correlated Gaussian equivalence conjecture that generalizes recent results in the study of random feature models.

研究の動機と目的

• 訓練データへのガウスノイズ注入がモデル最適化中に及ぼす正則化効果を理論的に理解すること。
• ノイズ注入下でのランダム特徴モデルにおける訓練誤差および一般化誤差の漸近的挙動を特徴づけること。
• ノイズ注入と暗黙の正則化の間の明確な関係を確立し、同等のリッジペナルティを特定すること。
• 従来の結果を拡張する新たな相関ガウス等価性の仮説を提唱し、検証すること。
• データ摂動下での一般化性能を分析するための厳密な漸近的フレームワークを提供すること。

提案手法

• 各訓練サンプルが独立なガウスノイズベクトルで摂動されるノイズを含む学習問題を定式化し、ノイズ分散はΔで表す。
• 固定されたランダム特徴と、第二層のみを学習対象とする二層ニューラルネットワーク構造を持つランダム特徴モデルを用いて最適化問題を分析する。
• 多変量複素一般化尾法（CGMT）フレームワークを適用し、訓練誤差および一般化誤差の漸近的表現を導出する。
• ノイズ注入と重み付きリッジ正則化の間の漸近的同等性を導出し、特徴行列と活性化関数を用いて正則化行列を明示的に特徴づける。
• ランダム特徴モデル解析における既存の結果を一般化する新たな相関ガウス等価性の仮説を提唱する。
• 数値実験を通じて理論的予測の妥当性を検証し、中程度の次元数の設定でも良好な一致を示した。

実験結果

リサーチクエスチョン

• RQ1 ガウスノイズを訓練データに注入した場合、ランダム特徴モデルにおける一般化誤差および訓練誤差に及ぼす正確な漸近的効果は何か？
• RQ2 入力データにおけるノイズ注入は、リッジ回帰などの明示的正則化手法とどのように関係するか？
• RQ3 高次元極限において、ノイズ注入が誘発する正則化を解析的に特徴づけることは可能か？
• RQ4 ノイズ注入とリッジ正則化の同等性は漸近的に成立するか？ その場合、同等の正則化ペナルティの明示的形は何か？
• RQ5 有限次元で中程度のサイズの問題において、漸近的予測の精度はどの程度か？

主な発見

• ガウスノイズの訓練データへの注入は、特徴行列と活性化関数を用いて明示的に導出された正則化行列を伴い、漸近的に重み付きリッジ正則化を誘発する。
• 高次元極限下では、同等のリッジペナルティが入力共分散、活性化関数の2次モーメント、およびノイズ分散の関数として示された。
• 数値結果により、理論的予測が非常に高い精度で確認された。これは中程度の次元数（例：p ≈ 100–500）の設定でも成立する。
• ノイズ注入による正則化効果が漸近的に成立するのは、ノイズ注入回数ℓが無限大に近づくという仮定の下で成り立つ。
• 導出された正則化は一様ではない。特徴行列の構造とデータ分布に依存する重み付き正則化である。
• 本分析は、最近のランダム特徴モデル解析における進展を一般化する新たな相関ガウス等価性の仮説に依拠している。