[論文レビュー] Batch Normalization Orthogonalizes Representations in Deep Random Networks

Hadi Daneshmand, Amir Joudaki+1 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用数 9

ひとこと要約

この論文は、ランダムな線形重みを持つ深層ランダムネットワークにおけるバッチ正規化（BN）が、層を跨いで徐々に直交する隠れ表現を誘導することを示している。直交性は深さに伴い指数関数的に向上し、幅に反比例する。理論的には、表現は等方的ガウス分布の Wasserstein-2 ボールの周囲に収束し、実験的にも、直交的表現から開始することで BN がなくても SGD の収束が早まることが確認された。

ABSTRACT

This paper underlines a subtle property of batch-normalization (BN): Successive batch normalizations with random linear transformations make hidden representations increasingly orthogonal across layers of a deep neural network. We establish a non-asymptotic characterization of the interplay between depth, width, and the orthogonality of deep representations. More precisely, under a mild assumption, we prove that the deviation of the representations from orthogonality rapidly decays with depth up to a term inversely proportional to the network width. This result has two main implications: 1) Theoretically, as the depth grows, the distribution of the representation -- after the linear layers -- contracts to a Wasserstein-2 ball around an isotropic Gaussian distribution. Furthermore, the radius of this Wasserstein ball shrinks with the width of the network. 2) In practice, the orthogonality of the representations directly influences the performance of stochastic gradient descent (SGD). When representations are initially aligned, we observe SGD wastes many iterations to orthogonalize representations before the classification. Nevertheless, we experimentally show that starting optimization from orthogonal representations is sufficient to accelerate SGD, with no need for BN.

研究の動機と目的

• バッチ正規化を施したランダム重みを有する深層ランダムネットワークの表現的性質を理解すること。
• バッチ正規化が層を跨ぐ隠れ表現の直交性に与える影響を調査すること。
• ネットワークの深さ、幅、および表現からの直交性からの逸脱との間の非漸近的関係を確立すること。
• 有限幅の深層ネットワークに対しても、BN が等方的ガウスに類似した表現を強制することを実証すること。
• BN が不要な状況でも、直交的初期表現が SGD の学習を加速することを検証すること。

提案手法

• 隠れ表現の完全な直交性からの逸脱を測る指標として「直交性ギャップ」を導入する。
• ランダムなガウス重みを有する連続する BN 層と線形層の表現のマルコフ連鎖を分析する。
• やや弱い仮定の下で、期待される直交性ギャップが $\mathcal{O}\left((1 - \alpha)^{\text{depth}} + \frac{\text{batch size}}{\alpha \sqrt{\text{width}}}\right)$ として減少することを証明する。
• 線形層を通過した後の表現の分布が、等方的ガウス分布の周囲の Wasserstein-2 ボールに収束することを確立し、半径が $\sim \frac{1}{\sqrt{\text{width}}}$ に比例して縮小することを示す。
• 特徴マップの特異値分解（SVD）に基づく重み初期化法を提案し、畳み込みネットワークにおける直交性を強制する。
• 固定学習率とバッチサイズを用いた全結合および畳み込みネットワークにおける実験を通じて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化は、深層ランダムネットワークにおける表現の直交性にどのように影響するか？
• RQ2 ネットワークの深さ、幅、および表現からの直交性からの逸脱との間の非漸近的関係は何か？
• RQ3 有限幅のネットワークに対しても、バッチ正規化は等方的ガウスに類似した分布を深層表現に強制するか？
• RQ4 BN がなくても、直交的初期表現から開始することで SGD の収束が早まるか？
• RQ5 初期表現の直交性は、深層ネットワークにおける最適化ダイナミクスにどの程度影響を与えるか？

主な発見

• 期待される直交性ギャップは、深さに伴い指数関数的に減少し、$\mathcal{O}\left((1 - \alpha)^{\text{depth}} + \frac{\text{batch size}}{\alpha \sqrt{\text{width}}}\right)$ と表される。ここで $\alpha > 0$ は定数である。
• 線形層を通過した後の表現の分布は、等方的ガウス分布の周囲の Wasserstein-2 ボールに収束し、半径は $\sim \frac{1}{\sqrt{\text{width}}}$ に比例して縮小する。
• BN は、有限幅のネットワークに対しても深層表現を等方的ガウスに近い状態に保つことを保証し、ガウス過程近似へのギャップを埋める。
• 実験により、直交的表現から初期化することで SGD の収束が早まり、特に深層ネットワークにおいて顕著に効果が見られた。BN が不要な場合でも同様の効果が得られた。
• 提案された SVD を用いた畳み込みネットワークの初期化法は、深層アーキテクチャ（例：80層ネットワーク）において訓練速度を向上させ、Xavier 初期化を上回った。
• 理論的および実験的結果は、ReLU、シグモイド、tanh、および奇関数（例：sin、tanh）を含むさまざまな活性化関数に対して成立し、直交性の挙動にほとんど差がなかった。