[論文レビュー] Lipschitz Bounded Equilibrium Networks

Max Revay, Ruigang Wang+1 more|arXiv (Cornell University)|Oct 5, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 24

ひとこと要約

本稿では、直接的な計量ベースのパrameterizationを通じて、制約なしの学習中にきめ細かいリプシッツ境界を強制する、新しい均衡ネットワークのパrameterizationであるLipschitz-Bounded Equilibrium Networks（LBEN）を提案する。単調作用素理論と収縮性ニューラルODEを活用することで、自然な活性化関数の仮定（単調性と勾配制限）の下で適切に定義された問題が保証され、敵対的攻撃に対して高い耐性を示し、わずかな精度低下で済む。また、実測の耐性とよく一致する保証されたリプシッツ境界を提供する。

ABSTRACT

This paper introduces new parameterizations of equilibrium neural networks, i.e. networks defined by implicit equations. This model class includes standard multilayer and residual networks as special cases. The new parameterization admits a Lipschitz bound during training via unconstrained optimization: no projections or barrier functions are required. Lipschitz bounds are a common proxy for robustness and appear in many generalization bounds. Furthermore, compared to previous works we show well-posedness (existence of solutions) under less restrictive conditions on the network weights and more natural assumptions on the activation functions: that they are monotone and slope restricted. These results are proved by establishing novel connections with convex optimization, operator splitting on non-Euclidean spaces, and contracting neural ODEs. In image classification experiments we show that the Lipschitz bounds are very accurate and improve robustness to adversarial attacks.

研究の動機と目的

• 敵対的攻撃に対して脆い深層ニューラルネットワークの問題を、耐性の代理としてリプシッツ境界を強制することで解決すること。
• 従来の均衡ネットワーク手法がリプシッツ制約を強制するために投影やバリア関数を必要としていたという制限を克服すること。
• 重み行列の条件を緩和し、活性化関数により自然な仮定（単調性と勾配制限）を用いることで、適切な定義の保証を向上させること。
• 名目精度を損なわせることなく、敵対的耐性を持つ均衡ネットワークを効率的に訓練するための非制約的最適化を可能にすること。
• 実験的に、保証されたリプシッツ境界が画像分類タスクにおける観測された耐性と非常に近いことを示すこと。

提案手法

• リプシッツ境界をネットワークアーキテクチャ内で直接強制するために、対称的で正定値の計量行列 $\Lambda$ を用いた均衡ネットワークの新しいパラメータ化を提案する。
• 非ユークリッド空間におけるニューラルODEと作用素分割に基づく収縮フレームワークを用い、安定性と適切な定義の保証を達成する。
• 推論および学習中の均衡状態を効率的に計算するために、Peaceman-RachfordおよびFISTA反復解法を適用する。
• 計算効率を維持するために、歪対称行列 $S$ を導入し、重み行列 $W$ を畳み込みおよび低ランク構造でパラメータ化する。
• 非畳み込み項（例：$W_{\text{out}}^T W_{\text{out}}$）を扱うために、特異値の上界を用いた修正された近接作用素を導入する。
• リプシッツ境界がパラメータ化を通じて暗黙的に強制されるため、制約なしの学習を標準的なADAM最適化で行う。

実験結果

リサーチクエスチョン

• RQ1 制約なしの学習中に、投影やバリア関数を用いずに、均衡ネットワークにリプシッツ境界を強制できるか？
• RQ2 重み行列の条件を弱くし、より自然な活性化関数（単調性と勾配制限）を仮定した場合でも、均衡ネットワークの適切な定義が保証されるか？
• RQ3 きめ細かいリプシッツ境界を強制することで、画像分類タスクにおける敵対的攻撃に対する耐性が向上するか？
• RQ4 保証されたリプシッツ上界と実際の敵対的攻撃における観測された耐性との間にはどの程度の差があるか？
• RQ5 提案されたパラメータ化は、畳み込みネットワークへ効率的に拡張可能か？ また、学習の安定性と収束性を維持できるか？

主な発見

• 提案されたLBENパラメータ化により、制約なしの学習が可能であり、保証されたリプシッツ境界が得られ、投影やバリア関数の必要がなくなる。
• 重み行列の条件を弱くし、活性化関数が単調かつ勾配制限であるというより自然な仮定のもとでも、適切な定義が確立される。
• MNISTおよびSVHNの実験において、LBENモデルはFGSMおよびPGD攻撃に対して顕著に耐性が向上し、クリーン精度の低下は最小限に抑えられた。
• 保証されたリプシッツ上界は非常にきめ細かく、実際の敵対的攻撃からの観測された耐性との差が小さく（例：10％未満）、良好な一致を示した。
• 訓練中に $I - W$ のリプシッツ定数が増加したが、収束に必要なFISTA反復回数も増加したが、計算的に実行可能であった。
• ブロック定数計量パラメータ化と効率的な特異値推定を用いることで、畳み込みネットワークへの一般化が可能となり、スケーラブルな学習が実現された。