[論文レビュー] All You Need is Beyond a Good Init: Exploring Better Solution for Training Extremely Deep Convolutional Neural Networks with Orthonormality and Modulation

Di Xie, Jiang Xiong+1 more|arXiv (Cornell University)|Mar 6, 2017

Advanced Neural Network Applications参考文献 17被引用数 37

ひとこと要約

この論文は、準等長性に基づく直交行列重み正則化とバックプロパゲーション中の誤差マグニチュードを動的に制御する誤差モodulation機構を用いて、極めて深いプレーン畳み込みニューラルネットワーク（CNN）の訓練手法を提案する。フィルターバンク間の直交性を強制し、誤差のスケーリングを動的に制御することで、ショートカット接続なしでCIFAR-10およびImageNetで残差ネットワーク（ResNet）と同等またはそれ以上の精度を達成できる44層および110層のプレーンネットワークの訓練が可能になる。

ABSTRACT

Deep neural network is difficult to train and this predicament becomes worse as the depth increases. The essence of this problem exists in the magnitude of backpropagated errors that will result in gradient vanishing or exploding phenomenon. We show that a variant of regularizer which utilizes orthonormality among different filter banks can alleviate this problem. Moreover, we design a backward error modulation mechanism based on the quasi-isometry assumption between two consecutive parametric layers. Equipped with these two ingredients, we propose several novel optimization solutions that can be utilized for training a specific-structured (repetitively triple modules of Conv-BNReLU) extremely deep convolutional neural network (CNN) WITHOUT any shortcuts/ identity mappings from scratch. Experiments show that our proposed solutions can achieve distinct improvements for a 44-layer and a 110-layer plain networks on both the CIFAR-10 and ImageNet datasets. Moreover, we can successfully train plain CNNs to match the performance of the residual counterparts. Besides, we propose new principles for designing network structure from the insights evoked by orthonormality. Combined with residual structure, we achieve comparative performance on the ImageNet dataset.

研究の動機と目的

• バックプロパゲーション中の勾配消失／爆発に起因する、極めて深いプレーンCNNの訓練における劣化問題に対処すること。
• バッチ正規化とReLUの、深層ネットワークにおける層間の信号ノルムの維持における限界を特定すること。
• 直交性と適応的誤差モodulationを用いた、ショートカットなしで超深層ネットワークをスクラッチから直接訓練するための非残差的ソリューションを開発すること。
• 重み空間における信号保存と等長性に基づく、深層ネットワークアーキテクチャ設計の新しい原則を提示すること。
• 直交性正則化が標準的なL2重み減衰を上回り、残差ネットワークと同等の性能を発揮できることを示すこと。

提案手法

• 各畳み込み層内のフィルターバンク間の直交性を強制する直交性正則化項を導入し、誤差伝搬の安定化を図る。
• 連続するパラメトリック層間の準等長性仮定に基づくバックプロパゲーション誤差モodulation機構を提案し、誤差のスケーリングを制御する。
• 繰り返しのConv-BN-ReLUモジュールで構成される標準的なプレーンCNNアーキテクチャに、正則化とモodulationを適用する。
• 数学的解析と実験的検証を通じて、直交性が信号ノルムを保存し、勾配消失を軽減することを示す。
• ReLUとバッチ正規化による信号減衰を補うために、層ごとの適応的勾配誤差スケーリングを実装する。
• 標準的なL2重み減衰の代わりに直交性正則化を採用し、深層ネットワークにおける最適化安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ショートカットなしで、直交性正則化のみで極めて深いプレーンCNNの訓練を安定化させることができるか？
• RQ2 フィルターバンク間の直交性が、深層ネットワークにおける信号伝搬と勾配安定性に与える影響は何か？
• RQ3 準等長性に基づくモodulation機構は、深層ネットワークにおけるバックプロパゲーション中の誤差マグニチュードを効果的に制御できるか？
• RQ4 提案手法により、プレーンネットワークがImageNetおよびCIFAR-10で残差ネットワークと同等またはそれ以上の性能を達成できるか？
• RQ5 直交性と動的誤差モodulationを強制することで得られるアーキテクチャ的および最適化的インサイトは何か？

主な発見

• 44層プレーンネットワークを用いた場合、CIFAR-10で88.42%のトップ-1精度を達成し、標準的なSGDや他の最適化手法を上回った。
• 110層プレーンネットワークでは、CIFAR-10で81.6%のトップ-1精度に到達し、ベースライン手法と比べ顕著な向上を示した。
• 直交性正則化を施した44層プレーンネットワークは、ImageNetで34層の残差ネットワークと同等の性能を達成した。
• ImageNetでは、101層プレーンネットワークを用いて70.0%のトップ-1精度を達成し、CIFAR-10を超える一般化性能を示した。
• 可視化の結果、L2正則化と比較して、直交性正則化はより構造的でノイズの少ない特徴マップを生成した。
• 実験により、直交性が勾配消失を低減し、深層ネットワークにおける収束速度を向上させることを確認した。