[論文レビュー] Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training

Sheng Liu, Xiao Li+5 more|arXiv (Cornell University)|Feb 28, 2021

Advanced Neural Network Applications被引用数 8

ひとこと要約

この論文は、畳み込み構造を活用するためのフーリエドメインを用いた畳み込みニューラルネットワークのための新規で効率的な正規化手法、Convolutional Normalization (ConvNorm) を提案する。ConvNorm は、畳み込み構造を活用するためにフーリエドメインを利用する。重み行列を高速フーリエ変換を用いて正規化することで、特異値ノルムを低減し、リプシッツ性を向上させ、訓練の安定性と耐性を向上させる。CIFAR-10 および ImageNet において、精度、敵対的耐性、データ効率の面で、バッチ正規化および従来の直交正則化手法を上回る性能を発揮する。

ABSTRACT

Normalization techniques have become a basic component in modern convolutional neural networks (ConvNets). In particular, many recent works demonstrate that promoting the orthogonality of the weights helps train deep models and improve robustness. For ConvNets, most existing methods are based on penalizing or normalizing weight matrices derived from concatenating or flattening the convolutional kernels. These methods often destroy or ignore the benign convolutional structure of the kernels; therefore, they are often expensive or impractical for deep ConvNets. In contrast, we introduce a simple and efficient "Convolutional Normalization" (ConvNorm) method that can fully exploit the convolutional structure in the Fourier domain and serve as a simple plug-and-play module to be conveniently incorporated into any ConvNets. Our method is inspired by recent work on preconditioning methods for convolutional sparse coding and can effectively promote each layer's channel-wise isometry. Furthermore, we show that our ConvNorm can reduce the layerwise spectral norm of the weight matrices and hence improve the Lipschitzness of the network, leading to easier training and improved robustness for deep ConvNets. Applied to classification under noise corruptions and generative adversarial network (GAN), we show that the ConvNorm improves the robustness of common ConvNets such as ResNet and the performance of GAN. We verify our findings via numerical experiments on CIFAR and ImageNet.

研究の動機と目的

• 畳み込み構造を無視し、高い計算コストを伴う既存の重み正規化手法の限界を解消すること。
• 平行移動不変性を保ち、効率的なチャネル単位の直交化を可能にする、即挿し可能な正規化モジュールの開発。
• データの損傷や敵対的攻撃下での訓練の安定性、一般化性能、耐性の向上。
• 畳み込み層のレイヤー単位の特異値ノルムを低減し、条件数を改善すること。
• ResNet50 や ResNet152 のような深く過パラメータ化されたネットワークにおけるスケーラブルで効率的な正規化の実現。

提案手法

• ConvNorm は、各出力チャネルをタイトフレームに正規化することで、エネルギー保存とチャネル単位の等長性を保証する。
• 高速フーリエ変換 (FFT) を用いてフーリエドメインで動作させ、行列分解を用いずに重み行列の逆行列を効率的に計算する。
• 各チャネルの重み行列のスペクトルに事前に計算された正規化カーネル $ v $ を適用し、その後に可学習なアフィン変換 $ r $ を適用する。
• このアプローチにより、チャネルレベルでの直交性が強制され、畳み込み構造が保持され、カーネルの平坦化を回避する。
• 正規化は即挿し可能なモジュールとして適用され、任意の既存の畳み込みネットワークアーキテクチャと互換性を持つ。
• この手法は、畳み込みスパースコーディングにおける前処理技術を発展させ、深層学習最適化に適応したものである。

実験結果

リサーチクエスチョン

• RQ1 フーリエドメインで畳み込み構造を明示的に活用する正規化手法が、深層畳み込みネットワークの訓練と耐性を向上させることができるか？
• RQ2 一般化性能および敵対的耐性の観点から、ConvNorm はバッチ正規化や他の重み正規化手法と比較してどのように異なるか？
• RQ3 ConvNorm によるチャネル単位の等長性の強制が、特異値ノルムを低減し、畳み込み層のレイヤー単位の条件数を改善するか？
• RQ4 ResNet50 や ResNet152 のような大規模ネットワークに、計算コストが著しく増大することなく効率的にスケーリング可能か？
• RQ5 ラベルノイズやデータ不足の下で、ConvNorm とバッチ正規化を組み合わせた場合の性能への影響は何か？

主な発見

• ConvNorm は重み行列のレイヤー単位の特異値ノルムを低減させ、ネットワークのリプシッツ性を向上させ、より容易な訓練を可能にする。
• CIFAR-10 でラベルノイズが 80% の状況下、PGD-10 攻撃に対して ConvNorm とバッチ正規化を組み合わせた場合、46.12% のテスト精度を達成し、カイリー変換 (38.35%) を上回る。
• データ不足やラベルノイズ下で、ヴァニラネットワークと比較して、最大 4.5% のテスト精度向上が達成され、ヴァニラ設定と比較して平均条件数比が 3.332 優れている。
• CIFAR-10 で ResNet18 を 1 エポック訓練する際、ConvNorm では 60 秒、ヴァニラでは 21 秒、カイリー変換では 182 秒を要し、優れた効率性を示す。
• 条件数の低減において、SN や ONI、OCNN よりも優れた性能を発揮し、ρ 値が 3.332 に達し、ヴァニラベースラインに対する顕著な改善を示す。
• この手法はスケーラブルで、大規模ネットワークでも有効であることが示されており、ResNet18 で実証され、ResNet50 や ResNet152 への応用も可能性を有する。