[論文レビュー] Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds

Yujia Huang, Huan Zhang+3 more|arXiv (Cornell University)|Nov 2, 2021

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

本論文は、入力の摂動下でのReLUおよびMaxMin活性化の挙動に基づき、非活性な行と列を動的に削除することで、証明可能に頑健なニューラルネットワークのためのトレーニング可能で効率的な局所リプシッツ定数を提案する。学習可能な活性化閾値とスパarsity損失を導入することで、訓練中に局所リプシッツ定数をタイトにし、ℓ₂の頑健性においてCIFAR-10で60.7%の最先端の認証可能精度を達成した。

ABSTRACT

Certified robustness is a desirable property for deep neural networks in safety-critical applications, and popular training algorithms can certify robustness of a neural network by computing a global bound on its Lipschitz constant. However, such a bound is often loose: it tends to over-regularize the neural network and degrade its natural accuracy. A tighter Lipschitz bound may provide a better tradeoff between natural and certified accuracy, but is generally hard to compute exactly due to non-convexity of the network. In this work, we propose an efficient and trainable \\emph{local} Lipschitz upper bound by considering the interactions between activation functions (e.g. ReLU) and weight matrices. Specifically, when computing the induced norm of a weight matrix, we eliminate the corresponding rows and columns where the activation function is guaranteed to be a constant in the neighborhood of each given data point, which provides a provably tighter bound than the global Lipschitz constant of the neural network. Our method can be used as a plug-in module to tighten the Lipschitz bound in many certifiable training algorithms. Furthermore, we propose to clip activation functions (e.g., ReLU and MaxMin) with a learnable upper threshold and a sparsity loss to assist the network to achieve an even tighter local Lipschitz bound. Experimentally, we show that our method consistently outperforms state-of-the-art methods in both clean and certified accuracy on MNIST, CIFAR-10 and TinyImageNet datasets with various network architectures.

研究の動機と目的

• 証明可能頑健性訓練におけるグローバルリプシッツ定数の限界、すなわち過剰に保守的であり自然な精度を低下させることを是正すること。
• 個々の入力近傍に適応する、計算効率的かつ微分可能でタイトな局所リプシッツ定数を計算する方法の開発。
• 摂動下で活性化ニューロンが定数となるよう学習させることで、ニューラルネットワークが訓練中に局所リプシッツ定数を最小化するのを可能にすること。
• ℓ₂ノルムの頑健性設定における自然な精度と認証可能頑健性のトレードオフの改善。

提案手法

• 各入力データポイントに対して、局所的摂動下で定数であると判明するReLUまたはMaxMin活性化ニューロンを同定し、それに対応する前の重み行列の行と次の重み行列の列を削除する。
• 局所リプシッツ定数は、削減された重み行列のスペクトルノルムとして計算され、グローバルリプシッツ定数よりも証明可能にタイトな境界を提供する。
• 活性化関数（例：ReLU）をクリッピングするための学習可能な上界閾値を導入し、入力が閾値を超えるとニューロンが定数となるようにし、これにより行・列の削除を促進する。
• より多くのニューロンが定数状態に入ることを促すために、スパarsity誘導型のヘッジ損失を適用する。
• 本手法は、IBPやCROWNに基づく既存の認証可能訓練フレームワークに、アーキテクチャの変更なしにプラグインモジュールとして統合可能である。
• 推論時、グローバル境界によって既に認証済みの入力については、局所リプシッツ境界の計算を実行しないことで、計算オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 個々の入力近傍に適応する局所リプシッツ定数を、微分可能かつ効率的に計算・訓練することが可能か？
• RQ2 摂動下での活性化挙動を活用することで、グローバル定数に比べてどれほどタイトな局所リプシッツ定数が得られるか？
• RQ3 学習可能な活性化閾値とスパarsity正則化を用いて、局所リプシッツ定数を積極的に最小化するネットワークを訓練可能か？
• RQ4 提案手法は、ℓ₂ノルムの頑健性設定において、自然な精度と認証可能頑健性のトレードオフを改善するか？

主な発見

• CIFAR-10でε = 36/255の場合、MaxMin活性化を用いた本手法は60.7%の認証可能精度を達成し、SOTAベースラインの59.2%を上回った。
• ReLU活性化を用いた場合、CIFAR-10で54.3%の認証可能精度を達成し、SOTAの51.3%を上回った。
• Tiny-ImageNetでは23.4%の認証可能精度を達成し、SOTAの22.4%を上回った。
• 重み行列内の有効な行と列の数は平均で45%以上削減され、余分なコンponentsの顕著なプルーニングが示された。
• 局所リプシッツ定数の計算におけるパワー反復の平均ステップ数は137であったが、グローバル境界による認証のおかげで評価対象となる入力は13.8%にとどまった。
• 本手法は高いクリーン精度を維持しており、6C2Fアーキテクチャを用いたCIFAR-10では77.4%を達成し、頑健性と精度の優れたトレードオフを示した。