[論文レビュー] On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory

Alexandre Araujo, Benjamin Négrevergne+2 more|arXiv (Cornell University)|Jun 15, 2020

Face and Expression Recognition参考文献 32被引用数 18

ひとこと要約

この論文は、トーペリッツ行列理論とフーリエ解析を用いて、畳み込み層のリプシッツ定数に対する新規で効率的な上界を提案し、高速かつきめの細かいスペクトルノルム推定を可能にしている。この手法は反復的パワー法よりも速度と精度で顕著に優れており、Wide ResNetのような深層ネットワークにおける敵対的ロバスト性の向上に有効なリプシッツ正則化を可能にしている。

ABSTRACT

This paper tackles the problem of Lipschitz regularization of Convolutional Neural Networks. Lipschitz regularity is now established as a key property of modern deep learning with implications in training stability, generalization, robustness against adversarial examples, etc. However, computing the exact value of the Lipschitz constant of a neural network is known to be NP-hard. Recent attempts from the literature introduce upper bounds to approximate this constant that are either efficient but loose or accurate but computationally expensive. In this work, by leveraging the theory of Toeplitz matrices, we introduce a new upper bound for convolutional layers that is both tight and easy to compute. Based on this result we devise an algorithm to train Lipschitz regularized Convolutional Neural Networks.

研究の動機と目的

• 深層ネットワークにおける正確なリプシッツ定数の計算が計算的に非現実的である問題に対処すること。
• 従来の反復的手法よりもきめの細かく、より効率的な畳み込み層のスペクトルノルムの上界を構築すること。
• 深層学習における一般化性能および敵対的ロバスト性の向上のため、実用的なリプシッツ正則化を可能にすること。
• トーペリッツおよび二重ブロック・トーペリッツ行列理論を活用し、フーリエ解析を用いて閉形式のスペクトルノルム上界を導出すること。

提案手法

• この手法は、畳み込み層を重ねられた二重ブロック・トーペリッツ行列としてモデル化し、その構造を活用してスペクトル解析を実施する。
• トーペリッツ行列理論の結果を適用し、生成関数の逆フーリエ変換を用いて最大特異値を上界で制約する。
• フィルターカーネルの2次元フーリエ変換の絶対値の上界を基に、スペクトルノルムの閉形式上界を導出する。
• この上界は、反復的パワー法の計算を避けるためにFFTを用いて効率的に計算される。
• 勾配ベース最適化を用いて訓練に統合され、ネットワーク全体のリプシッツ定数を正則化する。

実験結果

リサーチクエスチョン

• RQ1 トーペリッツ行列理論は、畳み込み層のスペクトルノルム推定において、反復的パワー法よりもきめの細かく高速な代替手段を提供できるか？
• RQ2 本手法の上界は、パワー法や巡回行列近似といった従来手法と比較して、精度と効率の面でどの程度優れているか？
• RQ3 本手法を用いたリプシッツ正則化は、深層ネットワークにおける敵対的ロバスト性をどの程度向上させるか？
• RQ4 SqueezeNet や DenseNet などの大規模アーキテクチャに、著しい計算コストを伴わずに効率的にスケーリング可能か？

主な発見

• 提案手法LipBoundは、SqueezeNet や DenseNet などの大規模ネットワークにおいて、10イテレーションのパワー法と比較して最大12倍の高速化を達成した。
• Wide ResNet 50-2では、パワー法よりも4.13倍高速であり、平均推論時間は113.28ms（LipBound）対468.74ms（パワー法）であった。
• 従来の巡回行列に基づく手法よりも、スペクトルノルムの上界がきめの細かく正確であった。
• LipBoundを用いたリプシッツ正則化は、敵対的ロバスト性を顕著に向上させ、標準的な敵対的訓練のみに比べて優れた性能を示した。
• 理論的上界は、フィルターの生成関数の2次元フーリエ変換に基づき、閉形式での計算が可能である。