[論文レビュー] Limitations of the Lipschitz constant as a defense against adversarial examples

Todd Huster, Cho‐Yu Jason Chiang+1 more|arXiv (Cornell University)|Jul 25, 2018

Adversarial Robustness in Machine Learning参考文献 1被引用数 10

ひとこと要約

この論文は、リプシッツ定数が理論的には強力な敵対的ロバストネス保証を可能にするが、特にアトミックおよびペアドレイヤー手法を含む現在の計算手法には、根本的な表現的制限があり、実用的な有効性が制限されることを示している。著者らは、これらの手法が特定の1リプシッツ関数を表現できないこと、結果として境界が緩く一般化性能が低いことを示し、よりタイトで表現力のある境界を実現するためのユニバーサルリプシッツネットワークの開発を提唱している。

ABSTRACT

Several recent papers have discussed utilizing Lipschitz constants to limit the susceptibility of neural networks to adversarial examples. We analyze recently proposed methods for computing the Lipschitz constant. We show that the Lipschitz constant may indeed enable adversarially robust neural networks. However, the methods currently employed for computing it suffer from theoretical and practical limitations. We argue that addressing this shortcoming is a promising direction for future research into certified adversarial defenses.

研究の動機と目的

• 深層ニューラルネットワークにおけるリプシッツ定数の計算に関する既存手法の理論的・実用的限界を分析すること。
• 現在の手法、特にアトミックおよびペアドレイヤー手法が、特定の1リプシッツ関数を表現できないこと、結果として境界が緩くなることを実証すること。
• これらの表現的欠陥が、より強い認証ロバストネスを達成するうえでの主要なボトルネックであることを主張すること。
• 現在の限界を克服するための長期的研究課題として、タイトで表現力のある境界を実現するユニバーサルリプシッツネットワークの開発を提言すること。

提案手法

• 論文はLpノルムを用いてk-リプシッツ関数を定義し、c/2の距離内に同じクラスの例に近いすべての入力に対してロバストネスを保証する2/c-リプシッツ関数の存在を証明する。
• アトミックリプシッツ定数法を導入し、行列ノルムを用いて個々の層のリプシッツ定数を合成する。
• ペアドレイヤー手法を提案し、すべての活性化されたReLUユニットの組み合わせを考慮することで境界を計算し、二次計画法を用いて境界をタイトにする。
• すべてのs ∈ {0,1}^dにおける||W₂ diag(s) W₁||_∞の最大値を用いて、アトミック手法よりもタイトな境界を計算する。
• 2層のReLUネットワークを用いて、アトミックおよびペアドレイヤーのネットワーク族（𝒜_k^pおよび𝒪_k^p）の表現力を比較する。
• 加法的過大評価によるパス寄与の過大評価が原因で、ペアドレイヤー手法ですら特定の1リプシッツ関数をタイトに境界付けできない反例を構築する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークにおけるリプシッツ定数の計算に関する既存手法は、敵対的例に対してタイトで一般化可能なロバストネス保証を達成できるか？
• RQ2 強固な理論的基盤を持つにもかかわらず、なぜ現在のリプシッツに基づく防御は一般化に失敗するのか？
• RQ3 アトミックおよびペアドレイヤーのリプシッツ計算手法が1リプシッツ関数を表現するうえで抱える表現的制限は何か？
• RQ4 任意のk-リプシッツ関数をタイトに境界付けできる、より表現力のあるニューラルネットワーク族を設計できるか？
• RQ5 タイトで認証可能なロバストネスを実現するためのユニバーサルリプシッツネットワークを実現するには、どのような構造的・アーキテクチャ的変更が必要か？

主な発見

• 理論的分析により、cは異なるクラスの例間の最小距離であるとして、c/2の距離内に同じクラスの例に近いすべての入力に対してロバストネスを保証する2/c-リプシッツ関数が存在することが示された。
• アトミックリプシッツ手法は、非一様なパス寄与を要する関数を表現できず、勾配の大きさの過大評価により失敗する。
• ペアドレイヤー手法はアトミック手法よりも表現力を向上させ、アトミック手法が表現できない関数（例えば図2のReLUネットワーク）を表現できる。
• 改善は見られるが、振動的または非単調な1リプシッツ関数に対しては、正負のパス寄与の加法的過大評価により、依然として境界が緩い。
• 論文は、タイトな境界であっても、モデル族の表現力が制限されていることを示しており、図4の1リプシッツ関数を𝒪_k^∞が表現できないことから明らかである。
• 著者らは、現在の手法は過小適合（underfitting）に起因しており、最適化ではなく表現力が主なボトル neck であると結論づける。