[論文レビュー] Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation

Zhouxing Shi, Yihan Wang+3 more|arXiv (Cornell University)|Oct 13, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、Clarkeヤコビ行列の高階後向き計算グラフ上で線形境界伝播を用いて、ニューラルネットワークのタイトな $ε_{ackslash infty}$ 局所リプシッツ定数をスケーラブルに効率的に計算するフレームワークを提案する。非線形性勾配のタイトで閉形式の線形緩和を導出し、Branch-and-Boundと統合することで、先行手法を上回るタイトさとスケーラビリティを達成し、実用的な畳み込みニューラルネットワークを含む大規模モデルでも優れた性能を発揮する。

ABSTRACT

Lipschitz constants are connected to many properties of neural networks, such as robustness, fairness, and generalization. Existing methods for computing Lipschitz constants either produce relatively loose upper bounds or are limited to small networks. In this paper, we develop an efficient framework for computing the $\ell_\infty$ local Lipschitz constant of a neural network by tightly upper bounding the norm of Clarke Jacobian via linear bound propagation. We formulate the computation of local Lipschitz constants with a linear bound propagation process on a high-order backward graph induced by the chain rule of Clarke Jacobian. To enable linear bound propagation, we derive tight linear relaxations for specific nonlinearities in Clarke Jacobian. This formulate unifies existing ad-hoc approaches such as RecurJac, which can be seen as a special case of ours with weaker relaxations. The bound propagation framework also allows us to easily borrow the popular Branch-and-Bound (BaB) approach from neural network verification to further tighten Lipschitz constants. Experiments show that on tiny models, our method produces comparable bounds compared to exact methods that cannot scale to slightly larger models; on larger models, our method efficiently produces tighter results than existing relaxed or naive methods, and our method scales to much larger practical models that previous works could not handle. We also demonstrate an application on provable monotonicity analysis. Code is available at https://github.com/shizhouxing/Local-Lipschitz-Constants.

研究の動機と目的

• 大規模ニューラルネットワークにおける局所リプシッツ定数を計算するためのスケーラブルでタイトな手法の不足に対処すること。
• RecuJacのような既存の手法を、一貫性のある境界伝播フレームワークの下で統合・一般化すること。
• よりタイトな境界を得るために、Branch-and-Boundのような高度な検証技術の利用を可能にすること。
• 正確な手法が不可能だった、従来は処理不能であった実用的で大規模なモデル、特に畳み込みネットワークへの局所リプシッツ計算のスケーリングを実現すること。
• タイトな局所リプシッツ境界が、証明可能な単調性解析のような新たな応用にどのように有用であるかを示すこと。

提案手法

• チェーンルールから導出される高階後向き計算グラフを用いて、局所リプシッツ定数の計算を、Clarkeヤコビ行列の $\ell_{\infty}$ ノルムの上界として定式化する。
• 最適性の保証があるタイトで閉形式の線形緩和を導入し、後向きグラフ上で効率的な線形境界伝播を可能にする。
• 非線形性勾配を合成関数とみなして、特別な緩和を必要とするものとして扱い、線形境界伝播を後向きグラフ全体に伝播する。
• RecuJacを、タイトな線形緩和の代わりに緩い区間境界を用いた特別なケースとして再解釈する。
• 計算リソースの許容範囲内で境界をさらにタイトにするために、ニューラルネットワーク検証から取り入れたBranch-and-Bound（BaB）手法を統合する。計算時間と精度のトレードオフを制御可能にする。
• GPU加速による線形境界伝播を活用し、大規模で実用的なモデルへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク検証から得られる線形境界伝播技術を、タイトな局所リプシッツ定数の計算に適応できるか？
• RQ2 Clarkeヤコビ行列のノルムを、その非線形的成分の線形緩和を用いて、効率的かつタイトに境界付ける方法は何か？
• RQ3 提案されたフレームワークは、正確な手法が失敗する大規模で実用的な深層ニューラルネットワーク、特に畳み込みアーキテクチャへスケーリング可能か？
• RQ4 Branch-and-Boundの統合により、計算されたリプシッツ境界はどの程度さらにタイトにできるか？
• RQ5 計算された局所リプシッツ定数は、証明可能な単調性解析のような新たな応用を可能にするか？

主な発見

• 小さなモデルでは、大規模なネットワークでは非効率なMIPベースの正確な手法と同等の境界を生成する。
• より大きなモデルでは、既存の緩和的またはナイーブな手法よりもタイトな境界を達成しながら、高い効率性とスケーラビリティを維持する。
• 本手法は、従来の局所リプシッツ定数計算手法では到達できなかった大規模で実用的な畳み込みニューラルネットワークへもスケーリングに成功した。
• Branch-and-Boundの統合により、境界がさらにタイトにされ、精度と計算時間の調整可能なトレードオフを提供する。
• 本手法は、ニューラルネットワークの証明可能な単調性解析を可能にし、ロバストネスや一般化の応用を超えた実用的価値を示した。
• 提案されたClarke勾配用線形緩和は、タイトさにおいて最適であり、緩い境界を用いた場合にRecuJacと正確に等価になるため、既存の手法を統合する。