[論文レビュー] Explicit Regularization in Overparametrized Models via Noise Injection

Antonio Orvieto, Anant Raj+2 more|arXiv (Cornell University)|Jun 9, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

この論文では、過パラメータ化されたニューラルネットワークにおけるレイヤー単位のノイズ注入を提案し、分散の爆発を回避しながら明示的な正則化を実現する。小さな摂動が平坦な最小値を favour することで一般化性能の向上を示している。この手法は各レイヤーに独立したノイズを注入することで、ℓ₁、グループℓ₁、またはノルムを用いた証明可能な正則化を可能にし、Fashion MNISTおよびCIFAR-10における広い・深いモデルで実証的に検証されている。

ABSTRACT

Injecting noise within gradient descent has several desirable features, such as smoothing and regularizing properties. In this paper, we investigate the effects of injecting noise before computing a gradient step. We demonstrate that small perturbations can induce explicit regularization for simple models based on the L1-norm, group L1-norms, or nuclear norms. However, when applied to overparametrized neural networks with large widths, we show that the same perturbations can cause variance explosion. To overcome this, we propose using independent layer-wise perturbations, which provably allow for explicit regularization without variance explosion. Our empirical results show that these small perturbations lead to improved generalization performance compared to vanilla gradient descent.

研究の動機と目的

• 訓練中の小さな摂動が単純なモデルにおいて明示的正則化を誘発するかどうかを調査すること。
• 同じ摂動が大規模な幅（wide）を持つ過パラメータ化ニューラルネットワークにおいても有効であるかどうかを検討すること。
• 誘発された正則化が実際の一般化性能の向上に寄与するかどうかを特定すること。
• 広大なネットワークにおいて分散の爆発を回避しながら正則化の利点を維持するノイズ注入戦略を開発すること。

提案手法

• 勾配計算の前にレイヤー単位で小さな独立したノイズ摂動を注入することで、広大なネットワークにおける分散の爆発を回避すること。
• レイヤー単位のノイズ注入に対応する有効な正則化損失関数を導出し、ℓ₁、グループℓ₁、またはノルムによる明示的正則化を示すこと。
• 無限大の幅を持つネットワークにおいて標準的ノイズ注入で観察される分散の爆発を防ぐために、レイヤー単位の摂動が有効であることを証明すること。
• 複数の隠れ層を持つ深層ReLUネットワークへの理論的分析を拡張すること。
• 全結合および畳み込みネットワークにおける実証的評価を通じて、異なるノイズ注入方式の一般化性能を比較すること。
• レイヤー間で異なるパラメータ数を有する場合に一貫した信号対ノイズ比を維持するために、レイヤー単位のノイズ強度にスケーリング係数（例：√M）を適用すること。

実験結果

リサーチクエスチョン

• RQ1 勾配計算の前にノイズを注入することで、ℓ₁、グループℓ₁、またはノルムを用いた単純なモデルにおいて明示的正則化が誘発されるか？
• RQ2 標準的ノイズ注入が大規模な幅を持つ過パラメータ化ニューラルネットワークで失敗する理由は何か？分散の爆発の原因は何か？
• RQ3 レイヤー単位のノイズ注入は分散の爆発問題を克服できるか？また、明示的正則化を維持できるか？
• RQ4 提案手法は、バニラの確率的勾配降下法と比較して、より優れた一般化性能を達成するか？

主な発見

• 標準的ノイズ注入は、無限大の数の摂動を受けたニューロンを持つ過パラメータ化モデルにおいて分散の爆発を引き起こし、正則化に効果がなくなる。
• レイヤー単位のノイズ注入は、分散の爆発を効果的に回避し、全結合ネットワークおよび深層ReLUネットワークにおいてℓ₁、グループℓ₁、またはノルムによる明示的正則化を証明可能に実現する。
• 実証的結果では、レイヤー単位のノイズ注入が、標準的ノイズ注入およびバニラSGDと比較して、Fashion MNISTおよびCIFAR-10の浅い・深い・広い・狭いモデルすべてにおいてテスト精度を向上させている。
• アーキテクチャにかかわらず一貫した改善が得られ、特に広いネットワークでも安定した性能を示している。
• 正則化されたヘッセ行列のトレースダイナミクスはレイヤー単位の注入によって減衰し、滑らかな最適化と平坦な最小値の選好を示している。
• レイヤー単位のノイズ注入において√Mでノイズをスケーリングすることで、パラメータ数が異なるレイヤー間で一貫した正則化強度を維持できる。