[論文レビュー] Deep Isometric Learning for Visual Recognition

Haozhi Qi, Chong You+3 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Neural Network Applications被引用数 24

ひとこと要約

この論文は、バッチ正規化やスキップ接続を一切使用せずに、畳み込み層と非線形活性化関数のみで、画像認識ベンチマークで最先端の性能を達成する深層学習フレームワーク、Isometric Networks (ISONets) を提案する。これは、近似的に等長な重み初期化を強制し、直交行列を用いた畳み込みカーネルと、可学習なシフト付きReLU（SReLU）活性化関数を用いて実現される。この手法により、100層を超えるネットワークの効果的な学習が可能となり、バッチ正規化なしのCOCOベンチマークでも標準的なResNetを上回る性能を示し、等長性が深層ネットワーク設計の統一的原則であることを示している。

ABSTRACT

Initialization, normalization, and skip connections are believed to be three indispensable techniques for training very deep convolutional neural networks and obtaining state-of-the-art performance. This paper shows that deep vanilla ConvNets without normalization nor skip connections can also be trained to achieve surprisingly good performance on standard image recognition benchmarks. This is achieved by enforcing the convolution kernels to be near isometric during initialization and training, as well as by using a variant of ReLU that is shifted towards being isometric. Further experiments show that if combined with skip connections, such near isometric networks can achieve performances on par with (for ImageNet) and better than (for COCO) the standard ResNet, even without normalization at all. Our code is available at https://github.com/HaozhiQi/ISONet.

研究の動機と目的

• 等長性が非常に深い畳み込みネットワークの有効な学習を可能にする中心的原則であるかどうかを調査すること。
• 等長性が初期化および学習段階で維持される場合、正規化やスキップ接続を含まないバニラ型の深層ネットワークが強力な性能を達成できることを示すこと。
• 等長初期化と活性化関数にのみ依存する最小限のアーキテクチャであるISONetを、標準的なResNetと同等以上に性能を発揮する形で開発すること。
• 等長学習が、特にオブジェクト検出やインスタンスセグメンテーションのような低バッチサイズ設定において、正規化層の代替として機能できることを示すこと。
• 等長性という原則を用いて、深層学習における多様なアーキテクチャ的要素を統一的に説明し、一貫性のある設計フレームワークを提供すること。

提案手法

• 初期化段階で畳み込みカーネルをクリロネッカー・デルタ関数（恒等写像）として設定し、初期化時の近似的な等長性を強制する。
• 訓練中、畳み込みカーネルが直交行列に近づくように正則化することで、層間における等長性の性質を維持する。
• 可学習なシフト付きReLU（SReLU）活性化関数を導入し、定義は $\phi(x) = \max(0, x + b)$ であり、$b$ は非線形性と等長性のバランスを取るために学習可能なパラメータである。
• 特に低バッチサイズの環境で等長性と性能をさらに高めるために、恒等写像のスキップ接続を備えたリーマン型変種（R-ISONet）を用いる。
• バッチ正規化を一切使用せず、等長初期化と活性化関数にのみ依存して、標準的な誤差逆伝播法でネットワークを学習する。
• ImageNetを用いた分類、COCOを用いたオブジェクト検出およびインスタンスセグメンテーションの評価を通じて、汎化性能とロバスト性を検証する。

実験結果

リサーチクエスチョン

• RQ1 等長性が維持される場合、バッチ正規化やスキップ接続なしの深層畳み込みネットワークは、有効に学習可能か？
• RQ2 重み初期化および活性化関数設計による等長性の強制が、画像認識ベンチマークにおける性能向上にどの程度寄与するか？
• RQ3 オブジェクト検出のような低バッチサイズ設定（例：COCO）において、等長学習は標準的な正規化ベースのアーキテクチャ（例：ResNet）と比べてどのように性能を発揮するか？
• RQ4 等長性が、深層学習における多様な技術的要素（例：残差学習、正規化、活性化関数設計）の有効性を統一的に説明する基盤として機能できるか？
• RQ5 SReLUにおける可学習なシフトパラメータが、深層ネットワークにおける非線形性と等長的挙動のバランスに与える影響は何か？

主な発見

• ISONetは、100層を超えるネットワークを、バッチ正規化やスキップ接続なしに実現でき、等長制約下での最小限のアーキテクチャの有効性を示している。
• R-ISONetは、特にバッチ正規化が失敗する低バッチサイズ環境において、オブジェクト検出およびインスタンスセグメンテーションのCOCOベンチマークで標準的なResNetを上回る性能を示している。
• シフトパラメータを可学習化したSReLUの使用は、特に深層ネットワークにおいて、標準ReLUよりも顕著に訓練の安定性と性能を向上させている。
• 訓練中における畳み込みカーネルの直交正則化は、等長性の維持を可能にし、非常に深いネットワークにおける安定な勾配伝播を実現している。
• 実験的結果から、等長初期化と活性化関数設計が正規化層の代替として機能でき、推論のオーバーヘッドを低減するとともに、低バッチサイズ環境におけるロバスト性を向上させられると示されている。
• 理論的および実験的証拠から、等長学習が、残差学習、正規化、活性化関数設計といった多様な技術的要素を統一的に説明する一貫性のある原則であることが裏付けられている。