[論文レビュー] Preventing Gradient Attenuation in Lipschitz Constrained Convolutional Networks

Qiyang Li, Saminul Haque+4 more|arXiv (Cornell University)|Nov 3, 2019

Adversarial Robustness in Machine Learning被引用数 33

ひとこと要約

本論文は BCOP（Block Convolution Orthogonal Parameterization）を提案し、勾配ノルムの保持を伴うスケーラブルな Lipschitz 制約付き畳み込みネットワークの訓練を可能にし、証明可能な頑健性とより厳密な Wasserstein 推定を実現します。

ABSTRACT

Lipschitz constraints under L2 norm on deep neural networks are useful for provable adversarial robustness bounds, stable training, and Wasserstein distance estimation. While heuristic approaches such as the gradient penalty have seen much practical success, it is challenging to achieve similar practical performance while provably enforcing a Lipschitz constraint. In principle, one can design Lipschitz constrained architectures using the composition property of Lipschitz functions, but Anil et al. recently identified a key obstacle to this approach: gradient norm attenuation. They showed how to circumvent this problem in the case of fully connected networks by designing each layer to be gradient norm preserving. We extend their approach to train scalable, expressive, provably Lipschitz convolutional networks. In particular, we present the Block Convolution Orthogonal Parameterization (BCOP), an expressive parameterization of orthogonal convolution operations. We show that even though the space of orthogonal convolutions is disconnected, the largest connected component of BCOP with 2n channels can represent arbitrary BCOP convolutions over n channels. Our BCOP parameterization allows us to train large convolutional networks with provable Lipschitz bounds. Empirically, we find that it is competitive with existing approaches to provable adversarial robustness and Wasserstein distance estimation.

研究の動機と目的

• 畳み込みネットワークにおける Lipschitz 制約を課す際の勾配ノルムの減衰を動機づけ、解決する。
• 勾配ノルムを保持するためのスケーラブルで表現力豊かな直交畳み込みのパラメータ化（BCOP）を提案する。
• 直交畳み込み空間のトポロジーを理論的に分析し、BCOP が非連結性を克服する方法を示す。
• L2 における証明可能なノルム境界付き頑健性と Wasserstein 距離推定の改善を実証する。
• 頑健性と Wasserstein タスクにおいて、既存の Lipschitz 制約法と BCOP を比較する。

提案手法

• ニューラルネットワークにおける Lipschitz 値境界と勾配ノルム保持の必要性を検討する。
• BCOP を導入する：直交性を課すブロック畳み込みと対称プロジェクターを用いた構成的パラメータ化。
• 直交畳み込みの空間が非連結であることを証明し、BCOP が n チャンネル畳み込みを 2n チャンネルの連結成分内ですべて表現できることを示す。
• 連結で表現力のあるパラメータ化を保証する補助次元を用いた BCOP の構築アルゴリズム（Algorithm 1）を提供する。
• BCOP を用いて、OSSN、RKO、SVCM と比較し、証明可能なノルム境界付き頑健性と Wasserstein 距離推定を適用する。

実験結果

リサーチクエスチョン

• RQ1 勾配ノルムの減衰を抑えつつ、表現力を保つ Lipschitz 制約付き畳み込みネットワークは作れるのか？
• RQ2 連結で表現力のある直交畳み込みパラメータ化は、頑健性と Wasserstein 推定のためのスケーラブルで証明可能な Lipschitz ネットワークを実現できるのか？
• RQ3 BCOP は頑健性の保証と Wasserstein の下限推定の点で、既存の Lipschitz 制約法とどう比較されるのか？
• RQ4 最適化に影響を与える直交畳み込み空間の理論的性質（トポロジー等）は何で、どのように緩和できるのか？
• RQ5 MNIST/CIFAR-10 の頑健性と STL-10 の Wasserstein 推定タスクで、BCOP は競合的または優れた性能を達成できるのか？

主な発見

• BCOP は勾配ノルムを保持する 1-Lipschitz の畳み込み層を訓練中に特異値分布を保持する。
• BCOP は MNIST および CIFAR-10 に対する L2 摂動下の決定論的な証明可能頑健性ベンチマークで OSSN、RKO、SVCM を上回る。
• この手法は GAN 設定における分布間の Wasserstein 距離推定をより厳密にし、競合する Lipschitz 畳み込み法を上回る。
• 直交畳み込み空間は高度に非連結であることを理論的に示し、BCOP の補助次元構築は実質的な空間を単一の連結成分に統合する。
• BCOP は GNP（勾配ノルム保持性）とダイナミカル同一性を維持するよう設計されたアーキテクチャで、残差接続やバッチ正規化に依存せず、最先端の頑健性に競合する性能を達成する。
• 実証結果は、勾配ノルム保持を強制することで Lipschitz 制約付き畳み込みの表現力を最大限に活用し、マージンと頑健性を改善することを示している。