[論文レビュー] Lipschitz regularized Deep Neural Networks generalize and are adversarially robust

Chris Finlay, Jeff Calder+2 more|arXiv (Cornell University)|Aug 28, 2018

Adversarial Robustness in Machine Learning参考文献 66被引用数 25

ひとこと要約

この論文では、一般化性能と敵対的ロバストネスを向上させるために、深層ニューラルネットワークにおけるリプシッツ正則化を提案している。モデルのリプシッツ定数を制約することにより、著者たちはネットワークの深さに依存しない一般化バウンドを証明し、実験的に正則化されたモデルが敵対的攻撃に対してよりロバストであることを示している。勾配ノルムは効果的な攻撃検出器として機能する。

ABSTRACT

In this work we study input gradient regularization of deep neural networks, and demonstrate that such regularization leads to generalization proofs and improved adversarial robustness. The proof of generalization does not overcome the curse of dimensionality, but it is independent of the number of layers in the networks. The adversarial robustness regularization combines adversarial training, which we show to be equivalent to Total Variation regularization, with Lipschitz regularization. We demonstrate empirically that the regularized models are more robust, and that gradient norms of images can be used for attack detection.

研究の動機と目的

• 特に高深度アーキテクチャにおいて一般化保証が不足している問題に取り組む。
• ネットワークの深さに依存しない方法を考案することで、一般化バウンドにおける次元の呪いを克服する。
• 敵対的ロバストネスを向上させつつテスト精度を損なわないようにし、一般的に見られるロバストネスと精度のトレードオフを是正する。
• リプシッツ正則化と全変動正則化、敵対的訓練との理論的枠組みを結びつける。
• 損失関数の勾配ノルムを用いて敵対的入力を検出可能にする。

提案手法

• 入力摂動に対するモデルの感度を制御するため、リプシッツ正則化項を含む修正された損失関数を導入する。
• 変分法および逆問題理論を用いて一般化バウンドを証明し、層数に依存しない収束速度を示す。
• 敵対的訓練と全変動正則化の等価性を確立し、リプシッツ制御と結びつける。
• ベルンシュタインの不等式を用いて、入力ドメインを分割した領域における経験的リスクの乖離をバウンドし、高確率での一般化保証を可能にする。
• 敵対的入力では勾配ノルムが高くなるという事実を活用し、損失関数の勾配ノルムを敵対的入力検出の信号として利用する。
• 測地線球体と指数写像を用いて、リーマン幾何学的手法を多様体上に適用し、ユークリッド領域を超えた一般化バウンドを拡張する。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ正則化は、層数に依存しない一般化バウンドを深層ニューラルネットワークに提供できるか？
• RQ2 リプシッツ正則化は敵対的ロバストネスおよび全変動正則化とどのように関係しているか？
• RQ3 損失関数の勾配ノルムは、敵対的入力の存在を信頼できる指標として用いられるか？
• RQ4 リプシッツ正則化により、深層ネットワークにおけるロバストネスと精度の制御可能なトレードオフが可能か？
• RQ5 非パラメトリック設定において、リプシッツ正則化モデルの理論的収束速度を導出できるか？

主な発見

• 本論文では、リプシッツ正則化を施した深層ニューラルネットワークが、層数に依存しない収束速度で一般化することを証明しており、従来の研究で見られた指数的依存を回避している。
• 実験的結果から、リプシッツ正則化が敵対的ロバストネスを向上させ、クリーンなテストデータでも高い精度を維持していることが示された。
• 損失関数の勾配ノルムは、敵対的入力ではクリーンな入力よりも顕著に高くなるため、効果的な攻撃検出が可能である。
• 著者たちは、敵対的訓練が全変動正則化と等価であることを示し、ロバストネスと滑らかさの間の理論的リンクを提供した。
• ベルンシュタインの不等式およびリーマン幾何学的手法を用いて一般化バウンドを導出し、経験的リスクと真のリスクの乖離に対する高確率保証を得た。
• 正則化パラメータを調整することで、リプシッツ定数と期待損失の間のトレードオフを制御でき、望ましいロバストネス-精度のバランスを実用的展開に可能にする。