[論文レビュー] Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization

David Peer, Bart J. Keulen+3 more|arXiv (Cornell University)|Aug 1, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、各層を通過する情報の流れを正しく保つことで、スキップ接続やバッチ正規化、その他のアーキテクチャ的変更なしに、500層の「バニラ」全結合および畳み込みニューラルネットワークを成功裏に訓練可能にするために、レイヤーワイズのバッチエントロピー正則化を導入する。この手法は、視覚および自然言語処理タスクにおける残差ネットワーク、オートエンコーダ、トランスフォーマーを含む多様なアーキテクチャで性能向上を実現する。

ABSTRACT

Training deep neural networks is a very demanding task, especially challenging is how to adapt architectures to improve the performance of trained models. We can find that sometimes, shallow networks generalize better than deep networks, and the addition of more layers results in higher training and test errors. The deep residual learning framework addresses this degradation problem by adding skip connections to several neural network layers. It would at first seem counter-intuitive that such skip connections are needed to train deep networks successfully as the expressivity of a network would grow exponentially with depth. In this paper, we first analyze the flow of information through neural networks. We introduce and evaluate the batch-entropy which quantifies the flow of information through each layer of a neural network. We prove empirically and theoretically that a positive batch-entropy is required for gradient descent-based training approaches to optimize a given loss function successfully. Based on those insights, we introduce batch-entropy regularization to enable gradient descent-based training algorithms to optimize the flow of information through each hidden layer individually. With batch-entropy regularization, gradient descent optimizers can transform untrainable networks into trainable networks. We show empirically that we can therefore train a "vanilla" fully connected network and convolutional neural network -- no skip connections, batch normalization, dropout, or any other architectural tweak -- with 500 layers by simply adding the batch-entropy regularization term to the loss function. The effect of batch-entropy regularization is not only evaluated on vanilla neural networks, but also on residual networks, autoencoders, and also transformer models over a wide range of computer vision as well as natural language processing tasks.

研究の動機と目的

• 深さを増すと訓練誤差とテスト誤差が上昇する深層ニューラルネットワークにおける性能劣化問題に対処すること。
• 情報理論的観点から、深層ネットワークにおける訓練不能の根本的要因を解明すること。
• 各層を通る情報の流れを正しく保つことで、訓練不能なネットワークを訓練可能にする正則化手法を開発すること。
• 残差ネットワークやトランスフォーマーを含む多様なアーキテクチャおよびタスクにおいて、バッチエントロピー正則化の有効性を実証すること。
• 追加の事前学習を必要とせず、事前学習済みモデル（例：BERT）の汎化性能と性能を向上させること。

提案手法

• ミニバッチ統計を用いて、各層を通る情報の流れを測る指標としてバッチエントロピーを定義する。
• 理論的に、任意の層のバッチエントロピーがゼロである場合、勾配降下法が損失関数を最適化できないことを証明する。
• 低バッチエントロピーをペナルティ化し、訓練中に正の情報の流れを維持する正則化項 ℒ_BE を導入する。
• ℒ_BE を全体の損失関数に統合し、タスク性能とネットワークの学習可能性の両方を同時に最適化する。
• 全結合層、畳み込み層、残差ネットワーク、オートエンコーダ、トランスフォーマーなどのアーキテクチャにこの正則化を適用する。
• バッチエントロピー正則化の強度を制御するハイパーパrameter α の最適化にグリッドサーチを用いる。

実験結果

リサーチクエスチョン

• RQ1 指数的表現力を持つにもかかわらず、非常に深い「バニラ」ニューラルネットワークがなぜ訓練に失敗するのか？
• RQ2 勾配降下法の成功的最適化のためには、各層で正のバッチエントロピーが必須条件となるのだろうか？
• RQ3 スキップ接続やバッチ正規化といったアーキテクチャ的変更なしに、バッチエントロピーの正則化が深層ネットワークの訓練可能性を向上させるのか？
• RQ4 バッチエントロピー正則化は、トランスフォーマーや残差ネットワークを含む多様なアーキテクチャにどのように影響を与えるのか？
• RQ5 追加の事前学習を必要とせず、バッチエントロピー正則化が事前学習済みモデル（例：BERT）の性能を向上させるのか？

主な発見

• 勾配降下法が損失関数を最適化できるためには、正のバッチエントロピーが必須であり、バッチエントロピーがゼロになると勾配消失が発生し、最適化不能な損失関数の表面が生じる。
• バッチエントロピー正則化により、スキップ接続やバッチ正規化、ドロップアウトを一切用いない500層の全結合および畳み込みネットワークの成功裏の訓練が可能になる。
• 視覚および自然言語処理タスクにおいて性能が向上し、BERT Base に ℒ_BE を適用した場合、BERT Large に比べて MPRC で 0.07 ポints の向上を達成した。
• 残差ネットワークは α ≈ 1.0 の高値を、トランスフォーマーは α ≈ 0.3 の低値を好むことが判明し、情報圧縮がトランスフォーマーにおける分類性能向上に寄与することが示唆された。
• バッチエントロピー正則化は一般化性能を向上させ、敵対的ロバストネスの向上にも寄与する可能性があるが、今後の研究が求められる。
• この正則化手法は、オートエンコーダーやトランスフォーマーを含む多様なアーキテクチャに有効であり、標準的な順伝播ネットワークにとどまらない広範な適用可能性を示している。