[論文レビュー] Orthogonalizing Convolutional Layers with the Cayley Transform

Asher Trockman, J. Zico Kolter|arXiv (Cornell University)|Apr 14, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用数 11

ひとこと要約

本論文は、フーリエ領域におけるカーレイ変換を用いて直交畳み込み層を直接パラメータ化する新規手法を提案する。これにより、逆計算が効率的に行え、高精度な直交性が達成される。このアプローチは、ℓ₂ノルムに制限された攻撃において最先端の認証可能敵対的ロバスト性を達成し、より大きなネットワークへスケーリング可能であり、先行するリプシッツ制約付きおよび直交畳み込み手法を上回る性能を発揮する。

ABSTRACT

Recent work has highlighted several advantages of enforcing orthogonality in the weight layers of deep networks, such as maintaining the stability of activations, preserving gradient norms, and enhancing adversarial robustness by enforcing low Lipschitz constants. Although numerous methods exist for enforcing the orthogonality of fully-connected layers, those for convolutional layers are more heuristic in nature, often focusing on penalty methods or limited classes of convolutions. In this work, we propose and evaluate an alternative approach to directly parameterize convolutional layers that are constrained to be orthogonal. Specifically, we propose to apply the Cayley transform to a skew-symmetric convolution in the Fourier domain, so that the inverse convolution needed by the Cayley transform can be computed efficiently. We compare our method to previous Lipschitz-constrained and orthogonal convolutional layers and show that it indeed preserves orthogonality to a high degree even for large convolutions. Applied to the problem of certified adversarial robustness, we show that networks incorporating the layer outperform existing deterministic methods for certified defense against $\ell_2$-norm-bounded adversaries, while scaling to larger architectures than previously investigated. Code is available at https://github.com/locuslab/orthogonal-convolutions.

研究の動機と目的

• 直交畳み込み層のための直接的でスケーラブルかつ表現力のあるパラメータ化の欠如に対処すること。
• 直交性を強制するためのヒューリスティックペナルティ法やカーネルの再形状による制限を克服すること。
• 反復的プロジェクションやスペクトル正規化に依存せずに、大規模な畳み込みネットワークにおいて高精度な直交性を実現すること。
• 勾配ノルムを保存する決定論的層を用いて、ℓ₂ノルムに制限された摂動に対する認証可能な敵対的ロバスト性を向上させること。
• 多様なアーキテクチャーやチャネル数にわたり、32ビット精度でも直交性を維持するパラメータ化を提供すること。

提案手法

• フーリエ領域において反対称畳み込みにカーレイ変換を適用することで、得られる重み行列が直交することを保証する。
• フーリエ領域を活用して、カーレイ変換に必要な逆畳み込みを効率的に計算し、高価な行列逆行列計算を回避する。
• 最適化に基づくペナルティ法やプロジェクション法を避けるために、パラメータ化が構造的に直交性を強制する。
• 標準的な畳み込みニューラルネットワークアーキテクチャと互換性があり、任意のカーネルサイズとチャネル次元をサポートする。
• PyTorchで実装され、コードは https://github.com/locuslab/orthogonal-convolutions で公開されている。
• フォワードパスには、ストライド=2の場合に入力テンソルを再形状するプリフックが含まれており、einopsによる再配置により空間次元を保持する。

実験結果

リサーチクエスチョン

• RQ1 反復的プロジェクションやカーネル再形状に依存せずに、直接的で表現力がありスケーラブルな直交畳み込みのパラメータ化が達成可能か？
• RQ2 フーリエ領域におけるカーレイ変換は、32ビット浮動小数点演算下でも大規模な畳み込みにおいて高精度な直交性を実現可能か？
• RQ3 このような層は、既存のリプシッツ制約付きおよび直交畳み込み手法と比較して、ℓ₂ノルムに制限された摂動に対する認証可能な敵対的ロバスト性を向上させられるか？
• RQ4 カーレイに基づく直交畳み込み層の性能は、ネットワークの深さと幅の異なる状況でどのようにスケーリングするか？
• RQ5 バッチ正規化や残差接続なしに、この層は勾配ノルムの保存と訓練の安定性を維持できるか？

主な発見

• 提案されたカーレイに基づく直交畳み込み層は、32ビット浮動小数点演算においても、大きなカーネルや高いチャネル数に対しても高精度な直交性を維持する。
• 本手法は、ℓ₂ノルムに制限された敵対的攻撃における認証可能ロバスト精度の観点で、既存の決定論的防御手法を上回る。
• 本層は、先行研究で検討された範囲を超えて、より大きなアーキテクチャでも最先端の認証可能ロバスト性を達成する。
• カーレイ層を備えたネットワークは、敵対的訓練なしに強力なロバスト性を達成しており、直交性に起因する本質的な安定性を示している。
• 本手法は、より深いおよび広いネットワークへも効果的にスケーリング可能であり、BCOP やスペクトル正規化ベースのアプローチと比較して優れた性能を示している。
• 実験的結果から、層が勾配ノルムを保存し、活性化を安定化させることを確認しており、バッチ正規化の代替としての役割を果たす可能性を裏付けている。