[論文レビュー] Understanding Why Neural Networks Generalize Well Through GSNR of Parameters

Jinlong Liu, Guoqing Jiang+3 more|arXiv (Cornell University)|Jan 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 21

ひとこと要約

この論文は、深層ニューラルネットワークの一般化を説明するための主要因として、モデルパラメータの勾配信号対ノイズ比（GSNR）を導入する。勾配降下法のダイナミクスが自然に高いGSNRを生じさせることを示しており、これは一貫した、パターンに整合したパラメータ更新を促進することで、一般化性能の向上と強く相関している。実験的・理論的証拠により、高いGSNRは一般化ギャップを低減することを示している。

ABSTRACT

As deep neural networks (DNNs) achieve tremendous success across many application domains, researchers tried to explore in many aspects on why they generalize well. In this paper, we provide a novel perspective on these issues using the gradient signal to noise ratio (GSNR) of parameters during training process of DNNs. The GSNR of a parameter is defined as the ratio between its gradient's squared mean and variance, over the data distribution. Based on several approximations, we establish a quantitative relationship between model parameters' GSNR and the generalization gap. This relationship indicates that larger GSNR during training process leads to better generalization performance. Moreover, we show that, different from that of shallow models (e.g. logistic regression, support vector machines), the gradient descent optimization dynamics of DNNs naturally produces large GSNR during training, which is probably the key to DNNs' remarkable generalization ability.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）が高容量かつ過パラメータ化されているにもかかわらず、なぜ一般化性能が良いのかを理解すること。
• モデルパラメータの勾配信号対ノイズ比（GSNR）が一般化性能に果たす役割を調査すること。
• トレーニング中のGSNRと一般化ギャップの間の定量的関係を確立すること。
• 勾配降下法の最適化ダイナミクスが、なぜDNNのパラメータに自然に高いGSNRを促進するのかを分析すること。

提案手法

• 各パラメータ θj について、データ分布上での勾配の二乗平均と分散の比としてGSNRを定義する：r(θj) = g̃²(θj) / ρ²(θj)。
• トレーニング中の一般化性能を測るための1ステップ一般化比（OSGR）を導入し、理論的バインドを通じてGSNRと結びつける。
• 簡略化されたモデルを用いてDNNのトレーニングダイナミクスを分析し、勾配降下法がGSNRを高める正のフィードバックループを誘発することを示す。
• パラメータ更新によって引き起こされる勾配平均の変化ΔgD,s,cを導出する。WとgDの符号が反対の場合、|gD|が増加し、GSNRの分子が強化されることを示す。
• MNIST上で実験的分析を実施し、絶対値が大きい上位10%の重みについて、WとgDの間に強い負の相関が見られることを確認した。これは正のフィードバック機構が成立していることを支持する。
• 相関分析により、ピーク値における高いGSNRを示す特徴量は、ターゲット出力と強く正の相関を示すことが判明した。これは一般化性能の向上を示している。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータの勾配信号対ノイズ比（GSNR）は、深層ニューラルネットワークにおける一般化ギャップとどのように関係しているか？
• RQ2 深層ニューラルネットワークは、学習サンプル数よりもはるかに多くのパラメータを持つにもかかわらず、なぜ一般化性能が良いのか？
• RQ3 勾配降下法は、トレーニング中にモデルパラメータのGSNRにどのような役割を果たしているか？
• RQ4 DNNのトレーニングダイナミクスが、自然に高いGSNRを生じさせ、それを活用することを示せるか？
• RQ5 勾配降下法に、時間経過とともにGSNRを増幅させるフィードバック機構が存在し、一般化性能の向上に寄与しているのか？

主な発見

• トレーニング中に高いGSNRを示すことは、一般化性能の向上と強く相関しており、OSGRとGSNRを結ぶ理論的バインドによって示されている。
• DNNにおける勾配降下法の最適化プロセスは、重みと勾配の符号の間の正のフィードバック機構により、自然に高いGSNRの状態へとパラメータを誘導する。
• MNISTにおける実験的結果から、絶対値が大きい上位10%の重みについて、約80%が重みと勾配平均の符号が反対であり、これは高いGSNRに適した安定した状態を示している。
• 特徴量の重要度とターゲット出力との相関は、初期段階からピークGSNR段階にかけて顕著に向上し、特に特徴17では-0.33から0.53に上昇した。これは一般化性能の向上を示している。
• 重みWと勾配gDの符号が反対の場合、勾配平均の変化ΔgD,s,cはWと負の相関を示し、|gD|が増加することでGSNRの分子が強化され、持続的な正のフィードバックが発生する。
• 理論的分析により、勾配更新式の一次項が、重みと勾配が反比例する場合にGSNRを増加させることを確認した。これはDNNにおける高いGSNRの出現を説明している。