[論文レビュー] Global convergence of neuron birth-death dynamics

Grant M. Rotskoff, Samy Jelassi+2 more|arXiv (Cornell University)|Feb 5, 2019

Model Reduction and Neural Networks参考文献 25被引用数 15

ひとこと要約

本稿では、非局所的質量輸送を介して勾配フローを変更することにより、過パラメータ化されたニューラルネットワークにおける収束を加速するニューロンの誕生・死滅ダイナミクスを提案する。これは、エネルギー収縮を速め、自己抑制的フラクチュエーションを示すことで、グローバル最小値へのグローバル収束を証明している。また、有限パラメータでも標準勾配降下法を上回る性能を示す実装可能な数値スキームを提供している。

ABSTRACT

Neural networks with a large number of parameters admit a mean-field description, which has recently served as a theoretical explanation for the favorable training properties of "overparameterized" models. In this regime, gradient descent obeys a deterministic partial differential equation (PDE) that converges to a globally optimal solution for networks with a single hidden layer under appropriate assumptions. In this work, we propose a non-local mass transport dynamics that leads to a modified PDE with the same minimizer. We implement this non-local dynamics as a stochastic neuronal birth-death process and we prove that it accelerates the rate of convergence in the mean-field limit. We subsequently realize this PDE with two classes of numerical schemes that converge to the mean-field equation, each of which can easily be implemented for neural networks with finite numbers of parameters. We illustrate our algorithms with two models to provide intuition for the mechanism through which convergence is accelerated.

研究の動機と目的

• 標準勾配降下法を上回る収束速度を達成する、過パラメータ化されたニューラルネットワークにおける収束の加速。
• グローバル最適性を保ちつつ収束速度を向上させる非局所的質量輸送ダイナミクスの開発。
• 有限粒子系におけるフラクチュエーションの挙動を分析し、最適化がグローバル最小値に近づく際にそれらが自己抑制的であることを示すこと。
• 最小限の計算コストで実装可能な、PyTorch互換の実用的数値スキームの設計。
• 提案されたダイナミクスが有限幅のニューラルネットワークにおいて収束を加速することを実験的に示すこと。

提案手法

• Wasserstein勾配フローに質量輸送を追加することで導出された非局所的誕生・死滅プロセスを介したパラメータ分布の進化を記述する修正された偏微分方程式（PDE）を導入。
• 質量保存を保ち、グローバル収束を保証する2つの異なる誕生・死滅ダイナミクスを定義：1つは測度値Fokker-Planck方程式に基づき、もう1つは連合分布PDEに基づく。
• 最適輸送理論および測度値マルコフ過程の道具を用いて平均場極限周辺のフラクチュエーションを分析し、それらが $O(n^{-1/2})$ のオーダーでスケーリングされ、漸近的に消滅することを示した。
• 粒子ダイナミクスとカーネルベース更新に基づく2つの数値スキームを導出し、それらが平均場PDEに収束し、ニューラルネットワークの勾配計算を追加で行う必要がないことを示した。
• PDEから導かれたスキームのPyTorch互換実装を提供し、モデルアーキテクチャを変更せずに有限幅ネットワークに直接適用可能であることを示した。
• ダイナミクスの長期的挙動を分析し、ノイズ項が収束時に消滅することを証明した。この性質は「自己抑制的（self-quenching）」と呼ばれる。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適性を保ちつつ、過パラメータ化されたニューラルネットワークにおける収束を加速できる非局所的質量輸送機構を設計できるか？
• RQ2 提案された誕生・死滅ダイナミクス下での有限粒子系におけるフラクチュエーションはどのように振る舞い、収束を妨げるか？
• RQ3 平均場極限において、誕生・死滅ダイナミクス下でのエネルギー収縮速度は、標準勾配降下法と比較してどの程度速いか？
• RQ4 提案されたダイナミクスは、有限幅のネットワークにおいて最小限の計算コストで数値的に実装可能か？
• RQ5 フラクチュエーションの自己抑制的性質は、実用的状況下でグローバル最小値への安定的収束を保証するか？

主な発見

• 提案された誕生・死滅ダイナミクスは、局所的最適解の存在を伴わず、グローバル最小値への収束を保証する。
• エネルギー収縮速度は、標準勾配降下法よりも速く、非相互作用系の状況では明示的な漸近的収束速度が導出された。
• 有限粒子系におけるフラクチュエーションは $O(n^{-1/2})$ のオーダーであり、自己抑制的であり、ダイナミクスがグローバル最小値に近づくにつれて0に収束する。
• ダイナミクスの平均場PDEは質量保存を満たし、適切な仮定の下で解がグローバル最小値に収束することが保証される。
• PDEから導かれた数値スキームは平均場極限に収束し、例示的モデルでの実験により、有限幅ネットワークにおける学習を加速することが確認された。
• ニューラルネットワーク学習における誕生・死滅ダイナミクスの実装コストは最小限であり、追加の勾配計算を必要としない。