[論文レビュー] The Effect of Gradient Noise on the Energy Landscape of Deep Networks

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|Nov 20, 2015

Model Reduction and Neural Networks参考文献 41被引用数 3

ひとこと要約

本稿では、外部磁場下における球面スピンガラスとしての訓練過程をモデル化することにより、深層学習における加法的勾配ノイズのための新しいアニーリング方式を提案する。トポロジーの単純化（ノイズの大きさを増加させることで、指数的から1つに減少する臨界点）を活用することで、訓練の高速化と一般化性能の向上が達成され、全結合型および畳み込みニューラルネットワークで検証された。

ABSTRACT

We analyze the regularization properties of additive gradient noise in the training of deep networks by posing it as finding the ground state of the Hamiltonian of a spherical spin glass in an external magnetic field. We show that depending upon the magnitude of the magnetic field, the Hamiltonian changes dramatically from a highly non-convex energy landscape with exponentially many critical points to a regime with polynomially many critical points and finally, trivializes' to exactly one minimum. This phenomenon, known as topology trivialization in the physics literature, can be leveraged to devise annealing schemes for additive noise such that the training starts in the polynomial regime but gradually morphs the energy landscape into the original one as training progresses. We demonstrate through experiments on fully-connected and convolutional neural networks that annealing schemes based on trivialization lead to accelerated training and also improve generalization error.

研究の動機と目的

• 加法的勾配ノイズが深層ネットワークの訓練に与える正則化効果を理解すること。
• 統計力学の概念を用いて、勾配ノイズ下における深層ネットワークのエネルギー・ランドスケープをモデル化すること。
• ノイズの大きさが、特に臨界点の数に与える影響を同定すること。
• トポロジーの単純化を利用した、より優れた訓練効率と一般化性能を実現するアニーリングスキームを開発すること。
• 提案手法を全結合型および畳み込みニューラルネットワークにおいて実験的に検証すること。

提案手法

• 訓練プロセスは、外部磁場下における球面スピンガラスハミルトニアンの基底状態を求める問題としてモデル化される。
• 磁場の強さは、加法的勾配ノイズの大きさに対応する。
• 系の相転移を分析し、指数的多数の臨界点、多項式的多数の臨界点、および1つの最小値を持つ領域を特定する。
• トポロジーの単純化を活用して、多項式的領域から出発し、元のランドスケープへと遷移するアニーリングスケジュールを設計する。
• 訓練中にノイズの大きさを段階的に減少させることで、スケジュールを実装する。初期段階では、ランドスケープを単純化するノイズレベルから開始する。
• 全結合型および畳み込みネットワークを用いて、訓練速度および一般化性能の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 加法的勾配ノイズは、深層ネットワークのエネルギー・ランドスケープのトポロジーにどのように影響するか？
• RQ2 ノイズの大きさとエネルギー・ランドスケープにおける臨界点の数の関係は何か？
• RQ3 トポロジーの単純化を活用して、効果的なノイズのアニーリングスケジュールを設計できるか？
• RQ4 単純化に基づくノイズのアニーリングは、訓練速度と一般化性能を向上させるか？
• RQ5 提案手法は、固定ノイズまたはノイズなしの標準的な訓練法と比較してどのように異なるか？

主な発見

• ノイズの大きさを増加させると、エネルギー・ランドスケープは、指数的多数の臨界点を持つ非常に非凸な形状から、多項式的多数の臨界点を持つ領域に移行する。
• 高ノイズレベルでは、ランドスケープは正確に1つの最小値に単純化され、最適化ダイナミクスの劇的な単純化が示唆される。
• 多項式的領域から出発し、元のランドスケープへと遷移する本稿で提案するアニーリングスキームは、標準的手法よりも訓練を高速化する。
• 一般化誤差がアニーリングスキーム下で改善され、より優れた一般化性能が示された。
• 本手法は、全結合型および畳み込みニューラルネットワークの両方で有効であり、広範な適用可能性を示した。