[論文レビュー] Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers

Sahil Singla, Soheil Feizi|arXiv (Cornell University)|Nov 22, 2019

Sparse and Compressive Sensing Techniques参考文献 43被引用数 7

ひとこと要約

本稿では、2次元畳み込み層の固有値ノルムに対する4つの微分可能で効率的な上界を提案する。そのうちの1つは、フィルターサイズに比例してスケーリングされたMiyatoらのヒューリスティック手法と同等である。これらの上界の最小値をとることで、計算コストをほとんど増加させることなく、一般化性能とロバストネスを向上させる、きつい微分可能な正則化項が得られる。

ABSTRACT

In deep neural networks, the spectral norm of the Jacobian of a layer bounds the factor by which the norm of a signal changes during forward/backward propagation. Spectral norm regularizations have been shown to improve generalization, robustness and optimization of deep learning methods. Existing methods to compute the spectral norm of convolution layers either rely on heuristics that are efficient in computation but lack guarantees or are theoretically-sound but computationally expensive. In this work, we obtain the best of both worlds by deriving {\it four} provable upper bounds on the spectral norm of a standard 2D multi-channel convolution layer. These bounds are differentiable and can be computed efficiently during training with negligible overhead. One of these bounds is in fact the popular heuristic method of Miyato et al. (multiplied by a constant factor depending on filter sizes). Each of these four bounds can achieve the tightest gap depending on convolution filters. Thus, we propose to use the minimum of these four bounds as a tight, differentiable and efficient upper bound on the spectral norm of convolution layers. We show that our spectral bound is an effective regularizer and can be used to bound either the lipschitz constant or curvature values (eigenvalues of the Hessian) of neural networks. Through experiments on MNIST and CIFAR-10, we demonstrate the effectiveness of our spectral bound in improving generalization and provable robustness of deep networks.

研究の動機と目的

• 畳み込み層に対して、効率的で微分可能かつ理論的に妥当な固有値ノルム上界が不足している問題に対処すること。
• 大規模な畳み込みニューラルネットワークにおいて、ヤコビアンの固有値ノルムを明示的に計算することが計算的に非現実的である問題を克服すること。
• 畳み込みヤコビアンに特徴的な構造的スパarsityが原因で、従来の手法が不一致または誤った勾配を生成する問題を解決すること。
• モデルの一般化性能と adversarial ロバストネスの向上を図るため、リーマン計量（Hessian固有値）のリーマン曲率をきっちりと制御する実用的な正則化項を開発すること。
• 正確な固有値ノルム計算の代替手段としてスケーラブルであり、理論的保証を維持しながら、エンドツーエンドの訓練を可能にする代替手法を提供すること。

提案手法

• 行列解析および特異値分解を用いて、2次元マルチチャネル畳み込み層の固有値ノルムに対する4つの証明可能な有効な上界を導出する。
• 各上界は微分可能であり、ヤコビアンを明示的に構築せずに、変換されたフィルターマトリクスに対するパワー反復法を用いてO(n²)時間で計算可能である。
• そのうちの1つの上界は、フィルターハイド・ワイドに依存する係数でスケーリングされたMiyatoらの重み正則化ヒューリスティックと数学的に同等である。
• 訓練中に真の固有値ノルムのきつい微分可能で効率的な代理として、4つの上界の最小値を用いることを提案する。
• 最小上界を正則化項として用い、ネットワークのリーマン曲率（Hessian固有値）とリーマンリプシッツ定数を制御する。
• 曲率に基づくロバストネス証明（CRC）フレームワークに上界を統合することで、認証可能なロバストネスへの応用を適応する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層の固有値ノルムに対して、微分可能で効率的かつ証明可能な有効な上界を導出できるか？
• RQ2 提案手法の最小上界は、既存のヒューリスティックおよび正確な手法と比較して、タイトさと訓練効率の点でどのように異なるか？
• RQ3 提案された固有値上界は、深層ネットワークの一般化性能とロバストネスをどの程度向上できるか？
• RQ4 固有値上界を用いて、標準ベンチマークで意味のある精度を持つ認証可能なロバストネス証明を計算できるか？
• RQ5 畳み込み層の構造的スパarsityに起因する問題にもかかわらず、固有値上界の勾配計算がバックプロパゲーションにおいて一貫性があり正しいままであるか？

主な発見

• γ=0.03の条件下で、MNISTでは91.25%の認証可能なロバスト正答率を達成し、CIFAR-10では29.26%を達成。これは基準線（γ=0のとき0%）を著しく上回る。
• 4つの上界の最小値は、特に大きなフィルターサイズにおいて、個々の上界よりもきつい固有値ノルム推定値を一貫して提供する。
• CIFAR-10のResNet-32において、βを0から0.0018に増加させると、16×3×3×3のフィルタに対して固有値ノルム上界が37.96から5.57に低下し、効果的な正則化が確認された。
• γ=0.01の条件下で、CIFAR-10では17.39%の認証可能なロバスト正答率を達成。上界が意味のあるロバストネス認証を可能にしていることが示された。
• 勾配計算は一貫性があり、誤った非ゼロ勾配や不一致な値を生じる既存手法とは異なり、正しく保たれている。
• 固有値上界は、真の固有値ノルムとその推定値の差を縮小し、βが増加するにつれて差が小さくなる傾向を示しており、タイトさの向上が確認された。