[論文レビュー] Characterizing Well-Behaved vs. Pathological Deep Neural Networks

Antoine Labatie|arXiv (Cornell University)|Nov 7, 2018

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本稿では、深層ニューラルネットワークの初期化における信号とノイズのモーメントの深さに伴う変化を分析することにより、深層ネットワークを特徴付ける新しいフレームワークを提案する。その結果、前向き伝搬ネットワークは乗法的層合成のため病理的かつ指数関数的な増大を示すが、バッチ正規化付き残差ネットワークはスキップ接続のおかげでこれを回避し、代わりに安定したべき乗則的増大を示すことが明らかになった。

ABSTRACT

We introduce a novel approach, requiring only mild assumptions, for the characterization of deep neural networks at initialization. Our approach applies both to fully-connected and convolutional networks and easily incorporates batch normalization and skip-connections. Our key insight is to consider the evolution with depth of statistical moments of signal and noise, thereby characterizing the presence or absence of pathologies in the hypothesis space encoded by the choice of hyperparameters. We establish: (i) for feedforward networks, with and without batch normalization, the multiplicativity of layer composition inevitably leads to ill-behaved moments and pathologies; (ii) for residual networks with batch normalization, on the other hand, skip-connections induce power-law rather than exponential behaviour, leading to well-behaved moments and no pathology.

研究の動機と目的

• 多様なアーキテクチャに適用可能な、最小限の仮定に基づく、初期化段階における深層ニューラルネットワークを特徴付ける統一的かつ最小限の手法の開発。
• 標準的な前向き伝搬ネットワークにおける病理的挙動（勾配の爆発・消失、活性化の異常）の根本的要因の同定。
• 深さがあるにもかかわらず、バッチ正規化付き残差ネットワークがなぜこれらの病理的挙動を回避するのかを、モーメントに基づく分析によって説明すること。
• 畳み込み層、バッチ正規化、スキップ接続を制限のない仮定で組み込んだ理論的枠組みの確立。
• さまざまなアーキテクチャにおいて、信号およびノイズのモーメントの増大が指数的（病理的）かべき乗則的（良好な挙動）かを明確に区別すること。

提案手法

• 初期化段階における深層ネットワークの信号およびノイズの統計的モーメント（平均、分散、非中心モーメント）を深さにわたって分析する。
• 重みとバイアスのランダムネスを確率変数として扱い、信号およびノイズの進化をモデル化する再帰的モーメント伝播フレームワークを用いる。
• 全結合および畳み込みネットワーク（バッチ正規化およびスキップ接続の有無を含む）にこの手法を適用する。
• 残差ブロックのモーメントに基づく分析を導入し、残差接続が深さに起因する乗法的効果を分離することを示す。
• モーメント増大が有界（べき乗則）か無限大（指数関数的）かを、活性化関数および正規化の観点から条件を導出する。
• 無限幅極限における漸近的解析を用いて、モーメント増大の決定的境界を導出し、病理的挙動の理論的特徴づけを可能にする。

実験結果

リサーチクエスチョン

• RQ1 初期化段階における深層前向き伝搬ネットワークの病理的挙動の原因は何か。形式的にどのように特徴づけられるか。
• RQ2 深さは同程度であるにもかかわらず、バッチ正規化付き残差ネットワークが標準的な深層ネットワークで見られる病理的挙動を回避するのはなぜか。
• RQ3 スキップ接続とバッチ正規化が、信号およびノイズの統計的モーメントの進化にどのように影響を与えるか。
• RQ4 入力データ、活性化関数、アーキテクチャ的要素に制限を設けない統一的フレームワークにより、多様なアーキテクチャ（全結合、畳み込み、残差）におけるモーメント増大を特徴づけることができるか。
• RQ5 深層ネットワークにおいて、モーメント増大が指数関数的挙動ではなくべき乗則的挙動を示す条件は何か。

主な発見

• 前向き伝搬ネットワークでは、層の乗法的合成が信号およびノイズのモーメントの指数関数的増大を引き起こし、勾配の消失・爆発、活性化の異常といった病理的挙動を引き起こす。
• バッチ正規化およびスキップ接続がなければ、ReLUベースのネットワークは2次のモーメントおよび非中心モーメントの両方で指数関数的増大を示し、分散に上界がない。
• バッチ正規化付き残差ネットワークでは、スキップ接続が乗法的鎖を断ち切るため、モーメントの増大が指数関数的ではなくべき乗則的になる。
• バッチ正規化とスキップ接続の組み合わせにより、信号の分散が有界（例：μ₂(zˡᴴ) = 1）を保ち、初期化段階でのネットワークの仮説空間が安定化する。
• 理論的解析により、残差ネットワークにおけるモーメント増大は良好に制御されており、δχˡが上界および下界から有界であることが確認され、べき乗則的挙動の条件を満たしている。
• 本フレームワークは、入力データ、活性化関数、アーキテクチャ的要素に制限を設けず、畳み込みネットワークおよび正規化済みネットワークにも適用可能である。