[論文レビュー] A Deep Conditioning Treatment of Neural Networks

Naman Agarwal, Pranjal Awasthi+1 more|arXiv (Cornell University)|Feb 4, 2020

Adversarial Robustness in Machine Learning参考文献 82被引用数 4

ひとこと要約

本稿では、活性化を正規化することでニューラルネットワークのデータ条件付けを改善する深さに依存する条件付け手法を提案し、深さが核行列の条件数を1に指数関数的に改善することを示している。この手法により、過パラメータ化されたネットワークにおける訓練速度と一般化性能が向上し、トップ層および全重み訓練において理論的保証が得られ、実験的に正規化ReLU（NormReLU）がバッチ正規化の実用的代替手段として有効であることが検証された。

ABSTRACT

We study the role of depth in training randomly initialized overparameterized neural networks. We give a general result showing that depth improves trainability of neural networks by improving the conditioning of certain kernel matrices of the input data. This result holds for arbitrary non-linear activation functions under a certain normalization. We provide versions of the result that hold for training just the top layer of the neural network, as well as for training all layers, via the neural tangent kernel. As applications of these general results, we provide a generalization of the results of Das et al. (2019) showing that learnability of deep random neural networks with a large class of non-linear activations degrades exponentially with depth. We also show how benign overfitting can occur in deep neural networks via the results of Bartlett et al. (2019b). We also give experimental evidence that normalized versions of ReLU are a viable alternative to more complex operations like Batch Normalization in training deep neural networks.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークのトレーニング可能性が、深さに起因するデータ条件付けの改善によってどのように向上するかを理解すること。
• 活性化関数の種類に依存しない形で、核行列の条件数を低減する活性化正規化の役割を形式化すること。
• 深さが核行列の条件付けを向上させることで、最適化と一般化が指数関数的に改善されることを示すこと。
• この条件付け機構によって、ランダムな深層ネットワークにおける良性過適合と学習可能性が可能になるかを示すこと。
• CIFAR-10を用いた実験により、バッチ正規化の実用的代替手段としてのNormReLUを提案すること。

提案手法

• 標準ガウス入力下で、ベースとなる活性化関数にかかわらず出力がゼロ平均・単位分散をとるように活性化を正規化すること。
• 深さに伴う条件数が1に収束するレートを定量化するための非線形性係数を定義すること。
• ラージトレーニングの枠組み下で、トップ層訓練および全ネットワーク訓練における核行列の条件数を分析すること。
• ニューラル接線核（NTK）フレームワークを用いて、小さな学習率における全重み訓練への結果の拡張を行うこと。
• アーキテクチャの変更を要しない、ReLUの正規化版であるNormReLUを導入すること。
• 全結合およびResNetアーキテクチャを用いたCIFAR-10における実験を通し、NormReLUをバッチ正規化、レイヤー正規化、SeLUと比較すること。

実験結果

リサーチクエスチョン

• RQ1 ランダムに初期化された深層ニューラルネットワークにおいて、深さが核行列の条件付けにどのように影響するか？
• RQ2 活性化正規化が、さまざまな活性化関数に対して普遍的に深層ネットワークのトレーニング可能性を向上させることができるか？
• RQ3 初期データ条件付けに依存せず、深さが訓練誤差の収束を指数関数的に速くするか？
• RQ4 改善された条件付けのおかげで、深層ランダムニューラルネットワークにおいて良性過適合が発生できるか？
• RQ5 NormReLUのような正規化ReLUの変種が、バッチ正規化の代替として深層ネットワークの訓練に利用可能か？

主な発見

• 核行列の条件数は、深さに伴い指数関数的に1に収束し、そのレートは活性化関数の非線形性係数によって制御される。
• 勾配降下法が二乗損失を用いる場合、初期データ条件付けにかかわらず、εの訓練誤差に到達するにはO(log(1/ε))回の反復で十分である。これは、深さに起因する条件付けの改善によるものである。
• ランダムに初期化された深層ニューラルネットワークがターゲット関数を学習するには、初期化の確率が定数であっても、深さに指数関数的に多くのクエリが必要となる。
• 深層ランダムネットワークにおける最小ノルム補間解は、非自明な超過リスクを達成でき、良性過適合を示している。
• CIFAR-10において、NormReLUはバッチ正規化やレイヤー正規化と同等のテスト精度を達成しており、特に深いネットワークではわずかに優れた性能を示している。
• 全結合および残差アーキテクチャにおいて、正規化ReLUの変種はSeLUを上回るか同等の性能を示しており、バッチ正規化の実用的代替手段として有効であると考えられる。