[論文レビュー] Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization

Tolga Ergen, Arda Sahiner+4 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 30被引用数 9

ひとこと要約

本稿は、バッチ正規化（BN）を備えたReLUネットワークにおける正確な凸最適化フレームワークを導入し、BNが特徴を暗黙的にホワイト化し、訓練中に特徴の高特異値方向へ偏りをもたらすことを明らかにする。高次元および過パラメータ化された状態における最適重みの閉形式解を導出し、勾配降下法の暗黙的バイアスを再現する明示的正則化が、CIFAR-10における性能向上に寄与することを示している。

ABSTRACT

Batch Normalization (BN) is a commonly used technique to accelerate and stabilize training of deep neural networks. Despite its empirical success, a full theoretical understanding of BN is yet to be developed. In this work, we analyze BN through the lens of convex optimization. We introduce an analytic framework based on convex duality to obtain exact convex representations of weight-decay regularized ReLU networks with BN, which can be trained in polynomial-time. Our analyses also show that optimal layer weights can be obtained as simple closed-form formulas in the high-dimensional and/or overparameterized regimes. Furthermore, we find that Gradient Descent provides an algorithmic bias effect on the standard non-convex BN network, and we design an approach to explicitly encode this implicit regularization into the convex objective. Experiments with CIFAR image classification highlight the effectiveness of this explicit regularization for mimicking and substantially improving the performance of standard BN networks.

研究の動機と目的

• 凸最適化を用いて、ReLUネットワークにおけるバッチ正規化を理論的に完全に特徴づけること。
• 標準的な凸定式化では捉えきれない、BNネットワークにおける勾配降下法の暗黙的正則化効果を解明すること。
• GDがBNネットワークに与えるアルゴリズム的バイアスを捉えることができる明示的正則化手法を開発すること。
• CNNやベクトル出力を持つネットワークを含む、BNを備えた深層ReLUネットワークへの凸最適化フレームワークの拡張すること。
• 高次元領域における最適重みが、凸双対性を用いて閉形式で計算可能であることを示すこと。

提案手法

• 重み減衰正則化付きのReLUネットワークにBNを適用する際、凸双対性を用いて等価な有限次元凸問題を導出する。
• BNがデータ行列にホワイトニング効果をもたらし、特異値分解（SVD）を介して中心化・ホワイト化された形に変換することを明らかにする。
• 入力行列がフル・ランクである高次元領域（$n \leq d$）において、2層ネットワークの最適層重みの閉形式解を導出する。
• BNネットワークにおける勾配降下法が、データの高特異値方向を暗黙的に正則化することを特定するが、これは標準的な凸定式化では捉えられない。
• 構造的ノルムを用いて、この暗黙的正則化を凸目的関数に明示的に組み込む手法を提案する。
• フレームワークを深層ネットワーク、CNN、ReLU後のBN、任意の凸損失関数に適用し、先行する凸ReLUネットワークの結果を一般化する。

実験結果

リサーチクエスチョン

• RQ1 BNを備えたReLUネットワークにおけるバッチ正規化は、凸最適化を用いてどのように形式的に特徴づけられるか？
• RQ2 BNネットワークにおける勾配降下法が誘発する暗黙的正則化効果とは何か？ これは標準的な凸定式化とはどのように異なるか？
• RQ3 BNネットワークにおける勾配降下法の暗黙的バイアスを、凸最適化フレームワーク内で明示的にモデル化可能か？
• RQ4 過パラメータ化および高次元領域におけるBN付きReLUネットワークの最適重みに対して、どのような閉形式解が存在するか？
• RQ5 BNの配置（ReLUの前か後か）が、得られる凸最適化モデルおよび特徴のホワイトニングにどのように影響を与えるか？

主な発見

• BNおよび重み減衰を伴うReLUネットワークの最適解は、有限次元凸問題として等価に定式化可能である。
• バッチ正規化はデータ行列にホワイトニング効果をもたらし、特異値分解（SVD）を介して中心化・ホワイト化された形に変換されるが、これは凸双対性を通じて明示的に明らかにされる。
• 入力データがフル・ランクである高次元領域（$n \leq d$）において、2層ネットワークの最適解は閉形式で計算可能であり、$\mathbf{w}^{(1)*} = \mathbf{X}^\dagger(\mathbf{y} - \min_i y_i)$、$w^{(2)*} = (\|\mathbf{y}\|_2 - \beta)_+$ と表される。
• BNネットワークにおける勾配降下法は、データの高特異値方向へ学習を暗黙的に偏らせるが、これはホワイトナイズド・データの標準的凸定式化には存在しない性質である。
• この暗黙的バイアスを凸モデルに明示的に正則化することで、CIFAR-10における性能が向上し、提案フレームワークの有効性が示された。
• フレームワークは深層ネットワーク、CNN、ReLU後のBN、ベクトル出力ネットワークへ一般化可能であり、先行研究の2層全結合ネットワークに限らない凸ReLUネットワークの結果を拡張している。