[論文レビュー] Universal Lipschitz Approximation in Bounded Depth Neural Networks

Jérémy E. Cohen, Todd Huster+1 more|arXiv (Cornell University)|Apr 9, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用数 11

ひとこと要約

この論文は、3層のニューラルネットワークにFullSort活性化関数を用いることで、有界な深さの下で任意のリプシッツ関数を近似可能な、普遍的リプシッツ近似器（ULAs）であることを証明している。この手法により、タイトなリプシッツ境界を維持することで、画像分類における認証可能ロバスト性が実現され、MNISTおよび2次元スパイラルデータセットにおいて、ReLUやSDPネットワークを上回る実験的ロバスト性を示している。

ABSTRACT

Adversarial attacks against machine learning models are a rather hefty obstacle to our increasing reliance on these models. Due to this, provably robust (certified) machine learning models are a major topic of interest. Lipschitz continuous models present a promising approach to solving this problem. By leveraging the expressive power of a variant of neural networks which maintain low Lipschitz constants, we prove that three layer neural networks using the FullSort activation function are Universal Lipschitz function Approximators (ULAs). This both explains experimental results and paves the way for the creation of better certified models going forward. We conclude by presenting experimental results that suggest that ULAs are a not just a novelty, but a competitive approach to providing certified classifiers, using these results to motivate several potential topics of further research.

研究の動機と目的

• リプシッツ連続性を用いた深層学習における認証可能ロバスト性の理論的基盤を確立すること。
• 実験的トレーニングに依存しやすく、容易に破壊される既存の adversarial デフェンスの限界を解消すること。
• 特定の活性化関数を備えた有界深さのニューラルネットワークが、普遍的にリプシッツ関数を近似可能であることを示すこと。
• ソーティングに基づく活性化関数を活用することで、認証可能ロバストモデルの実用性と性能を向上させること。
• 新しい活性化関数を用いたリプシッツ境界付きネットワークの最適化および一般化の課題を調査すること。

提案手法

• 3層のフィードフォワードネットワークにFullSort活性化関数を適用し、グローバルなリプシッツ連続性を強制する。
• コン pact 領域上での任意のリプシッツ関数を近似可能であることを証明し、3層のFullSortネットワークが普遍的リプシッツ近似器（ULAs）であることを確立する。
• 低いリプシッツ定数を維持しながら高い表現能力を実現できる、ソーティング操作の変種を採用する。
• $L_\infty$ および $L_2$ パーティクルに対して、外多面体法とランダム化スムージングを用いて認証可能ロバスト性の境界を計算する。
• 細かいグリッド勾配サンプリングを用いて、2次元スパイラルおよびMNISTデータセットでの実験的リプシッツ定数を測定する。
• GroupSortネットワークをReLU、SDP、およびLMTベースのモデルと比較し、ロバスト性と精度のトレードオフを検証する。

実験結果

リサーチクエスチョン

• RQ1 3層のニューラルネットワークにFullSort活性化関数を用いることで、$L_\infty$ ノルム下で任意のリプシッツ関数を普遍的に近似可能か？
• RQ2 GroupSortベースのネットワークは、ReLUおよびSDPネットワークと比較して、認証可能ロバスト性および実験的精度においてどのように異なるか？
• RQ3 理論的に深さに有利なはずの2層のGroupSortネットワークが、MNISTにおける$L_\infty$ ロバスト性において、より深いアーキテクチャを上回る理由は何か？
• RQ4 ソーティングに基づく活性化関数を用いたリプシッツ境界付きネットワークのトレーニングにおける主なアーキテクチャ的および最適化的課題は何か？
• RQ5 $L_2$ または一般の $L_p$ ノルム下で、$\mathbb{R}^n$ から $\mathbb{R}^m$ への写像についてULAsは存在するか？

主な発見

• 3層のFullSortネットワークは、コン pact 領域上での任意の1-リプシッツ関数を近似可能であることが証明され、普遍的リプシッツ近似器（ULAs）であることが示された。
• 2次元スパイラルデータセットでは、3層のGroupSort-10ネットワークがリプシッツ境界比1.20を達成し、ReLU（3.17）およびSDP（2.24）を著しく上回った。
• MNISTでは、2層のGroupSort-10ネットワークが$L_\infty$ ノルム下で最も強い認証可能境界を提供し、ReLUおよびSDPベースラインを上回った。
• $L_2$ パーティクルに対しては、4層のOPLUネットワークが他の手法を上回り、深さがこのノルム下でロバスト性を向上させることを示した。
• 強力な理論的保証にもかかわらず、最適化の困難さが深いネットワークにおける性能向上を制限しており、実験全体で過学習の兆候は観察されなかった。
• 結果から、一般化の問題ではなく、トレーニングの不安定性が、2層を超えるリプシッツ境界付きネットワークのスケーリングにおける主なボトル neck であると示唆された。