[論文レビュー] A theoretical framework for deep and locally connected ReLU network

Yuandong Tian|arXiv (Cornell University)|Sep 27, 2018

Neural Networks and Applications参考文献 22被引用数 7

ひとこと要約

この論文は、教師-生徒蒸留を用いた、深く局所接続されたReLUネットワークのための新しい理論的枠組みを提案する。この枠組みは、生徒の学習を教師の計算グラフへと拡張することで、現実的でない仮定を避けるとともに、バッチ正則化のような正則化を統合することで、実用的な深層ネットワークにおける一般化、過学習、分離表現の厳密な分析を可能にする。

ABSTRACT

Understanding theoretical properties of deep and locally connected nonlinear network, such as deep convolutional neural network (DCNN), is still a hard problem despite its empirical success. In this paper, we propose a novel theoretical framework for such networks with ReLU nonlinearity. The framework explicitly formulates data distribution, favors disentangled representations and is compatible with common regularization techniques such as Batch Norm. The framework is built upon teacher-student setting, by expanding the student forward/backward propagation onto the teacher's computational graph. The resulting model does not impose unrealistic assumptions (e.g., Gaussian inputs, independence of activation, etc). Our framework could help facilitate theoretical analysis of many practical issues, e.g. overfitting, generalization, disentangled representations in deep networks.

研究の動機と目的

• 深く局所接続されたReLUネットワークにおける理論的理解の不足、特に現実世界の設定においての課題を解決すること。
• ガウス分布の入力分布や独立な活性化といった現実的でない仮定に依存しない枠組みの構築。
• 過学習、一般化、分離表現といった実用的問題の理論的分析を可能にすること。
• バッチ正則化のような一般的な正則化手法を理論的分析に統合すること。
• 複雑な局所接続アーキテクチャにおける前向き伝搬と後向き伝搬の統一的構造の研究を可能にすること。

提案手法

• フレームワークは、生徒の前向きおよび後向き伝搬が教師の計算グラフ上に明示的にマッピングされる教師-生徒トレーニングのパラダイムを採用する。
• このマッピングにより、生徒は教師の表現構造を継承しつつ、自身の勾配から学習することができる。
• 入力分布や活性化の独立性に関する仮定を避けるため、現実のデータに適用可能である。
• バッチ正則化のような正則化手法は、蒸留プロセスに統合されることで、自然にフレームワークに組み込まれる。
• 理論的分析は計算グラフの構造に基づくため、表現学習ダイナミクスの分解が可能である。
• 異なる入力要因が学習された特徴量にどのように影響するかを追跡することで、分離表現の分析を支援する。

実験結果

リサーチクエスチョン

• RQ1 強い分布仮定に依存せずに、深く局所接続されたReLUネットワークにおける一般化と過学習を理論的に分析する方法は何か？
• RQ2 教師のアーキテクチャと表現を尊重する後向き伝搬を可能にする教師-生徒フレームワークを構築できるか？
• RQ3 バッチ正則化のような正則化手法を、深層ネットワークの理論的モデルに形式的に統合できる範囲はどの程度か？
• RQ4 このフレームワークは、深く非線形なアーキテクチャにおける分離表現の出現をどのように支援するか？
• RQ5 このフレームワークは、重み共有、局所接続、表現学習の関係を分析するために使用できるか？

主な発見

• 提案されたフレームワークは、ガウス分布の入力や独立な活性化といった現実的でない仮定を必要とせず、深く局所接続されたReLUネットワークの理論的分析を可能にする。
• 生徒の学習プロセスを教師の計算グラフに埋め込むことで、前向きおよび後向き伝搬の整合的で解釈可能な分析が可能になる。
• バッチ正則化のような一般的な正則化手法と互換性があり、一般化に及ぼすその効果の理論的取り扱いが可能になる。
• 構造的勾配フローを介して入力要因と学習された特徴ユニットを結びつけることで、分離表現の分析の基盤を提供する。
• 表現の複雑さと勾配ダイナミクスの正確な追跡が可能になるため、過学習と一般化の研究が促進される。