[論文レビュー] Input Hessian Regularization of Neural Networks

Waleed Mustafa, Robert A. Vandermeulen+1 more|arXiv (Cornell University)|Sep 14, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用数 4

ひとこと要約

本稿では、入力ヘッセ行列の固有値が大きい場合にペナルティを与えることで、敵対的攻撃に対する深層ニューラルネットワークのロバスト性を向上させる2次微分作用素ノルム正則化手法であるCross-Hölder Regularizationを提案する。本手法は、新規のアルゴリズムを用いてヘッセ作用素ノルムの勾配を効率的に計算し、MNISTおよびFMNISTにおいて、強い攻撃下で勾配ベース正則化および敵対的訓練を上回るロバスト性を示した。特に、4.0を超える高いロバスト性水準において顕著な優位性を示した。

ABSTRACT

Regularizing the input gradient has shown to be effective in promoting the robustness of neural networks. The regularization of the input's Hessian is therefore a natural next step. A key challenge here is the computational complexity. Computing the Hessian of inputs is computationally infeasible. In this paper we propose an efficient algorithm to train deep neural networks with Hessian operator-norm regularization. We analyze the approach theoretically and prove that the Hessian operator norm relates to the ability of a neural network to withstand an adversarial attack. We give a preliminary experimental evaluation on the MNIST and FMNIST datasets, which demonstrates that the new regularizer can, indeed, be feasible and, furthermore, that it increases the robustness of neural networks over input gradient regularization.

研究の動機と目的

• 2次微分情報（ヘッセ行列）を活用することで、深層ニューラルネットワークの敵対的攻撃に対するロバスト性を向上させること。
• 入力ヘッセ行列の勾配を直接計算することが計算的に非現実的であることを踏まえ、ヘッセ作用素ノルム正則化のための効率的なアルゴリズムを開発すること。
• 敵対的ロバスト性とヘッセ作用素ノルムの理論的関係を確立し、従来の勾配ノルムに基づく先行研究を拡張すること。
• 実験的に、ヘッセ正則化が入力勾配正則化を上回るロバスト性を提供することを検証すること、特に強力な敵対的攻撃下で顕著である。
• 2次曲率情報を利用した、敵対的訓練および勾配ベース防御の実用的で効果的な代替手法を提供すること。

提案手法

• 入力ヘッセ行列の作用素ノルムをペナルティ化することで、モデルの曲率を制御する2次正則化手法「Cross-Hölder Regularization」を提案する。
• ヘッセ作用素ノルムの勾配を計算するための効率的アルゴリズムを開発し、単純なアプローチの計算不能性を克服する。
• 局所的曲率の代理指標としてヘッセ作用素ノルムを用い、大きな値は入力摂動に対して高い感度を示す。
• 訓練中に、損失関数にヘッセ作用素ノルムに比例するペナルティ項を追加することで正則化を適用する。
• ヘッセ計算のための2回微分可能であることを保証するため、ReLUおよびマックスプーリング層を、微分可能関数（SWISHおよびストライド付き畳み込み）に置き換える。
• 最適なクリーン精度および敵対的ロバスト性を達成するため、ホールドアウト検証セット上でグリッドサーチを用いてハイパーパrameter（λ₁, λ₂）をチューニングする。

実験結果

リサーチクエスチョン

• RQ1 2次微分、特にヘッセ作用素ノルムを用いることで、深層ニューラルネットワークの敵対的ロバスト性を向上させることができるか？
• RQ2 ヘッセ作用素ノルム正則化を伴う深層ネットワークの学習は、計算的に現実的か？
• RQ3 ヘッセ正則化は、強い敵対的攻撃に対して、勾配ベース正則化（例：Cross-Lipschitz）を上回るロバスト性を示すか？
• RQ4 多様な攻撃設定下で、ヘッセ正則化は敵対的訓練に比べて優れたロバスト性を示すか？
• RQ5 敵対的摂動下での分類器のロバスト性とヘッセ作用素ノルムの理論的関係は何か？

主な発見

• MNISTデータセットにおいて、Cross-Hölder正則化は、Carlini-Wagner目的関数を用いた最悪ケースのPGD攻撃下で、両方の勾配ベース正則化（Cross-Lipschitz）および敵対的訓練を上回った。特に、ロバスト性水準が4.0を超える領域で顕著な優位性を示した。
• ロバスト性水準4.0において、CW損失攻撃下で、Cross-Hölder正則化は両方の手法を上回る敵対的精度を達成し、強い攻撃に対して優れたロバスト性を示した。
• MNISTでは99％以上のクリーン精度、FMNISTでは88％のクリーン精度を維持した。これは、標準性能への劣化が最小限に抑えられていることを示している。
• 実験的結果から、ヘッセ正則化は特に攻撃が強力で洗練された状況で、勾配正則化よりも優れたロバスト性を提供することが明らかになった。
• 提案されたアルゴリズムにより、ヘッセ作用素ノルム勾配の効率的計算が可能となり、深層ネットワークにおける2次正則化の実用化が可能になった。
• 理論的分析により、ヘッセ作用素ノルムが分類器のロバスト性を上界で制御することが確認され、従来の勾配ベースの境界を、曲率効果を含む形に拡張した。