[論文レビュー] Sorting out Lipschitz function approximation

Cem Anil, James Lucas+1 more|arXiv (Cornell University)|Nov 13, 2018

Adversarial Robustness in Machine Learning参考文献 54被引用数 31

ひとこと要約

本稿では、勾配ノルムを保存するGroupSort活性化関数と重み行列のノルム制約を組み合わせることで、普遍的なリプシッツ関数近似器としてのノルム制約付きGroupSortネットワークを提案する。この手法は、ReLUベースの代替手法と比較して、最小限の精度損失でよりタイトなワルシャー型距離推定と優れた敵対的ロバストネスを達成し、リプシッツ制約下での表現力のトレードオフを解消する。

ABSTRACT

Training neural networks under a strict Lipschitz constraint is useful for provable adversarial robustness, generalization bounds, interpretable gradients, and Wasserstein distance estimation. By the composition property of Lipschitz functions, it suffices to ensure that each individual affine transformation or nonlinear activation is 1-Lipschitz. The challenge is to do this while maintaining the expressive power. We identify a necessary property for such an architecture: each of the layers must preserve the gradient norm during backpropagation. Based on this, we propose to combine a gradient norm preserving activation function, GroupSort, with norm-constrained weight matrices. We show that norm-constrained GroupSort architectures are universal Lipschitz function approximators. Empirically, we show that norm-constrained GroupSort networks achieve tighter estimates of Wasserstein distance than their ReLU counterparts and can achieve provable adversarial robustness guarantees with little cost to accuracy.

研究の動機と目的

• ニューラルネットワークにおける厳密なリプシッツ制約下での表現力を持つ普遍的近似器の欠如に取り組むこと。
• 既存のアーキテクチャにおけるリプシッツ制約の強制とモデル表現力の間のトレードオフを解消すること。
• 表現力を持つノルム制約付きリプシッツネットワークにおいて、勾配ノルムの保存が必須条件であることを特定すること。
• ノルム制約付き重みを持つGroupSortが、任意の1-リプシッツ関数の普遍的近似を可能にすることを示すこと。
• ワルシャー型距離推定と敵対的ロバストネスにおける性能向上を実証的に検証すること。

提案手法

• グループごとのニューロンをソートすることで、両方のリプシッツ連続性と勾配ノルム保存を保証する勾配ノルムを保存する活性化関数であるGroupSortを提案する。
• 各線形変換が1-リプシッツであることを保証するために、重み行列にスペクトルノルム制約を適用する。
• ノルム制約付きGroupSortネットワークが、1-リプシッツ関数の普遍的近似器であることを示すために、Stone-Weierstrass定理の変種を用いる。
• 敵対的ロバストネス訓練のため、重みノルム制約と勾配射影を組み合わせたAggMo最適化手法を採用する。
• GANの学習後に生成器の重みを固定し、GroupSortを備えたクリティックネットワークを用いてワルシャー型距離を評価する。
• トレーニング中にリプシッツ制約を維持するために、各更新後に重み行列に$L_\text{infty}$-ノルム射影を適用する。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ制約が厳密に保たれる状態で、高い表現力を維持できるニューラルネットワークアーキテクチャは存在するか？
• RQ2 任意の1-リプシッツ関数を近似できるノルム制約付きネットワークに必要なアーキテクチャ的性質は何か？
• RQ3 絶対値のような単純なリプシッツ関数を近似する際、GroupSortはReLUと比べてどのように異なるか？
• RQ4 GroupSortベースのクリティックは、ReLUベースのクリティックよりもワルシャー型距離のタイトな下界を提供できるか？
• RQ5 GroupSortを用いることで、クリーンな精度を損なわずに敵対的ロバストネスが向上するか？

主な発見

• ノルム制約付きGroupSortネットワークは、ReLUと比較して、複雑で高次元の分布間のワルシャー型距離に対してよりタイトな下界を達成する。
• GroupSortネットワークは敵対的ロバストネスにおいてReLUネットワークを上回り、PGD攻撃における$\epsilon=0.3$の条件下で77.7%のロバスト精度を達成したのに対し、ReLUは62.2%であった。
• Margin-0.3 MaxMinネットワークは、PGD攻撃における$\epsilon=0.3$の条件下で24.4%のロバスト精度を達成したが、同じ条件下でReLUは70.1%のクリーン精度にとどまった。
• 重みにノルム制約を課したReLUネットワークは、絶対値のような単純なリプシッツ関数を近似できないが、GroupSortネットワークは成功する。
• ノルム制約付きGroupSortネットワークは、一般化性能と解釈可能性タスクの両方で高い性能を維持しており、均一な勾配スケールが可視化を容易にする。
• 理論的分析により、ノルム制約付きGroupSortネットワークが$L_p$距離において1-リプシッツ関数の普遍的近似器であることが確認された。