[論文レビュー] The coupling effect of Lipschitz regularization in deep neural networks

Nicolas Couëllan|arXiv (Cornell University)|Apr 12, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 6

ひとこと要約

この論文は、深層ニューラルネットワークにおけるリプシッツ正則化が層間の結合効果を引き起こし、一部の重みが増加する一方で他の重みがそれを補うことで、全体のリプシッツ定数を小さく保てるようにすることを示している。この結合効果により、表現力に損なわれることなく入力ノイズに対してより高いロバスト性が得られ、ボストン住宅価格データセットにおいて、層別またはノルムベースの正則化手法を上回る性能を発揮する。

ABSTRACT

We investigate robustness of deep feed-forward neural networks when input data are subject to random uncertainties. More specifically, we consider regularization of the network by its Lipschitz constant and emphasize its role. We highlight the fact that this regularization is not only a way to control the magnitude of the weights but has also a coupling effect on the network weights accross the layers. We claim and show evidence on a dataset that this coupling effect brings a tradeoff between robustness and expressiveness of the network. This suggests that Lipschitz regularization should be carefully implemented so as to maintain coupling accross layers.

研究の動機と目的

• 入力の不確実性下におけるリプシッツ正則化が深層ニューラルネットワークのロバスト性に与える影響を調査すること。
• 単なる重みの大きさの制御を越えて、リプシッツ正則化がネットワーク層間で生じる結合効果を分析すること。
• この結合メカニズムがロバスト性とネットワークの表現力のトレードオフを改善するかどうかを評価すること。
• 実世界の回帰データセット上で、層別、グローバルリプシッツ、MaxNormの正則化戦略を比較すること。

提案手法

• ネットワークは線形変換とリプシッツ連続な活性化関数の合成としてモデル化され、全体のマッピングのロバスト性はそのリプシッツ定数によって制限される。
• ノイズの伝播は重み行列の作用素ノルムを用いて分析され、出力ノイズが層のノルムの積に比例して増幅されることを示している。
• Kerasを用いたカスタム実装により、3つの正則化方式を導入：正則化なし、層別リプシッツ正則化、グローバルリプシッツ正則化。
• 訓練は200エポック、バッチサイズ50で実施され、ハイパーパramータはボストン住宅データセットの4/5を用いたグリッドサーチで最適化された。
• ロバスト性の評価は、残りの1/5のデータ上で、合成的な加法的ノイズ（η ∈ {0, 0.2, 0.4, 0.6}）を複数レベルで与えて実施された。
• 各方法で個々の層のスペクトルノルムとネットワーク全体のリプシッツ定数の上界を追跡・比較した。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ正則化は、深層ニューラルネットワークの層間における重みの大きさの分布にどのように影響を与えるか？
• RQ2 リプシッツ正則化に起因する結合効果は、標準的な正則化手法と比較して、ロバスト性と表現力のトレードオフを改善するか？
• RQ3 グローバルリプシッツ正則化は、層別またはMaxNorm正則化と比較して、入力ノイズの処理においてどのように異なるか？
• RQ4 結合メカニズムにより、個々の層の重みが大きくても、全体のネットワークのリプシッツ定数を低く保てる程度はどの程度か？
• RQ5 結合効果を活用することで、過学習を伴わずに入力の不確実性下での一般化性能を向上させることができるか？

主な発見

• リプシッツ正則化は、あらゆるノイズレベルで最小の平均絶対検証誤差を達成し、層別正則化およびMaxNormを上回った。
• 最大のノイズレベル（η = 0.6）において、リプシッツ正則化は層別正則化よりも約50％の誤差低減を達成する速度が速かった。
• グローバルリプシッツ正則化では、個々の層のスペクトルノルムが高くなった—例：∥W₁∥ = 3.464—層別（2.508）およびMaxNorm（2.383）と比較して、重みの柔軟性が向上した。
• グローバル正則化下でのネットワークのリプシッツ定数の上界は12.31であり、層別（13.52）よりも低く、ノイズ制御が優れていた。
• MaxNorm手法は重みの均一な制限が最も強く、全体のリプシッツ定数が最小（7.66）であったが、検証誤差では最も悪かった。
• グローバルリプシッツ正則化が誘発する結合メカニズムにより、ロバスト性と表現力のバランスが向上し、入力の不確実性下での一般化性能が顕著に向上したことが裏付けられた。