[論文レビュー] Convolution Aware Initialization

Armen Aghajanyan|arXiv (Cornell University)|Feb 21, 2017

Advanced Neural Network Applications参考文献 16被引用数 6

ひとこと要約

本論文では、周波数領域における畳み込みと要素ごとの乗算の双対性を活用するため、フーリエ領域で直交フィルタを構築する新しい重み初期化手法である畳み込み認識初期化（CAI）を提案する。逆フーリエ変換を適用することで、CIFAR10においてより速い収束、より高い精度、および最先端の性能を達成し、画像、自然言語処理、音声処理のあらゆるタスクで一貫した改善効果を示した。

ABSTRACT

Initialization of parameters in deep neural networks has been shown to have a big impact on the performance of the networks (Mishkin & Matas, 2015). The initialization scheme devised by He et al, allowed convolution activations to carry a constrained mean which allowed deep networks to be trained effectively (He et al., 2015a). Orthogonal initializations and more generally orthogonal matrices in standard recurrent networks have been proved to eradicate the vanishing and exploding gradient problem (Pascanu et al., 2012). Majority of current initialization schemes do not take fully into account the intrinsic structure of the convolution operator. Using the duality of the Fourier transform and the convolution operator, Convolution Aware Initialization builds orthogonal filters in the Fourier space, and using the inverse Fourier transform represents them in the standard space. With Convolution Aware Initialization we noticed not only higher accuracy and lower loss, but faster convergence. We achieve new state of the art on the CIFAR10 dataset, and achieve close to state of the art on various other tasks.

研究の動機と目的

• 従来の初期化手法が畳み込み演算子の内在的構造を十分に考慮していないという限界を是正すること。
• 畳み込みとフーリエ変換の双対性を活用し、より表現力があり安定した畳み込みフィルタを設計することの探求。
• 周波数領域での直交性を強制することで、勾配の流れと特徴の多様性を向上させる初期化手法の開発。
• 画像分類、センチメント分析、音声合成を含む多様な深層学習タスクにおいて、CAIの実証的検証。

提案手法

• 畳み込み定理を活用し、畳み込み演算をフーリエ領域における要素ごとの乗算に変換する。
• 期待される活性化統計から導かれる対称行列の固有値分解を実行することで、フーリエ領域で直交フィルタ基底を構築する。
• 逆フーリエ変換を用いて、直交フィルタを空間（通常の）領域に戻して畳み込み層で使用可能にする。
• 逆変換後の最終的なフィルタ重みの大きさを制御するスケーリング係数を適用する。
• 固有値分解の境界から導かれる前提条件を満たすことで、最終的なフィルタにゼロ平均を確保する。
• CAIと併用して、LSTM や全結合層などの非畳み込み層に対しても直交初期化を適用し、エンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 周波数領域で直交性を強制することは、標準的な手法よりも畳み込み層の初期化を改善することができるか？
• RQ2 CAIは、多様な深層学習タスクにおける学習ダイナミクス、収束速度、最終的なモデル精度にどのように影響を与えるか？
• RQ3 スケーリング前のCAIが生成するフィルタの大きさと平均の理論的上限は何か？
• RQ4 CAIは、CNN、RNN、WaveNetにおける拡張畳み込みを含むさまざまなアーキテクチャに一般化可能か？
• RQ5 CAIは、アーキテクチャの変更なしに、CIFAR10のような標準ベンチマークで最先端の性能を達成できるか？

主な発見

• CAIは、基本的なデータオーグメンテーションを用いて、CIFAR10データセットで94.5%という新しい最先端のテスト精度を達成した。
• IMDB映画レビュー・データセットでは、Embed-Conv-LSTMアーキテクチャで91.40%の精度を達成し、直交初期化（90.31%）、通常初期化（90.16%）、一様初期化（89.78%）を上回った。
• WaveNet音声合成タスクでは、CAIがカテゴリークロスエントロピー損失4.771を達成し、直交初期化（4.809）、Glorot（4.810）、通常初期化（4.811）のベースラインを顕著に下回った。
• CAIネットワークは、全評価タスクにおいて、すべてのベースライン初期化手法よりも速く収束した。これは、改善された学習ダイナミクスを示している。
• 理論的分析により、CAIフィルタの大きさが有界であり、固有値分解の特定の条件下ではゼロ平均を強制可能であることが確認された。
• CAIは、画像、自然言語処理、音声処理のあらゆるタスクで一貫した性能向上を示し、特定のアーキテクチャやモダリティにとどまらない広範な適用可能性を示した。