[論文レビュー] Conservative set valued fields, automatic differentiation, stochastic gradient method and deep learning

Jérôme Bolte, Edouard Pauwels|arXiv (Cornell University)|Sep 23, 2019

Stochastic Gradient Optimization Techniques参考文献 48被引用数 5

ひとこと要約

本稿は、非滑らかで非凸な最適化のための一般化された微分枠組みとして、保存的集合値場を導入し、ディープラーニングにおける自動微分や確率的勾配降下法の厳密な解析を可能にする。本稿では、ReLUネットワークにおけるバックプロパゲーションが保存的場を生成することを証明し、定義可能な構造の仮定のもとで、ミニバッチSGDが確率1で臨界点に収束することを示している。

ABSTRACT

Modern problems in AI or in numerical analysis require nonsmooth approaches with a flexible calculus. We introduce generalized derivatives called conservative fields for which we develop a calculus and provide representation formulas. Functions having a conservative field are called path differentiable: convex, concave, Clarke regular and any semialgebraic Lipschitz continuous functions are path differentiable. Using Whitney stratification techniques for semialgebraic and definable sets, our model provides variational formulas for nonsmooth automatic differentiation oracles, as for instance the famous backpropagation algorithm in deep learning. Our differential model is applied to establish the convergence in values of nonsmooth stochastic gradient methods as they are implemented in practice.

研究の動機と目的

• 滑らかでないが凸やClarke正則クラスを超える関数のための一般化された微分法の開発。
• 特にReLUのような区分的滑らか関数を扱うディープラーニングにおける自動微分オラクルの理論的基盤の提供。
• 非滑らかで非凸な設定におけるミニバッチ確率的勾配降下法の収束保証の確立。
• アルゴリズム的実践（例：バックプロパゲーション）を、o-最小的および代数的集合のような微分幾何学的・モデル理論的構造と結びつける。
• 変分解析、局所的分割理論、数値アルゴリズムを統合する1つの枠組みをAIおよび数値解析に提供する。

提案手法

• 閉じた絶対連続曲線 γ に対して ∫₀¹⟨D(γ(t)), γ̇(t)⟩dt = {0} を満たす零循環性を用いて、保存的集合値場を定義。
• 経路微分可能関数を、凸、凹、Clarke正則、およびLipschitzな代数的関数を含む、保存的場を有する関数として定義。
• ホイットニーの局所的分割とo-最小的構造を用いて、保存的場の変分公式を導出し、Morse-Sardの定理やŁojasiewiczの不等式を一般化。
• 定義可能な仮定のもとで、自動微分オラクル（例：バックプロパゲーション）が保存的場を生成することを確立。
• Benaïm-Hofbauer-Sorinのアプローチに類するリャプノフ関数を用いて、離散的確率的ダイナミクスの収束を分析。
• ミニバッチSGDに対して、個々の成分場の平均として保存的場 D_f = (1/n)∑D_{f_i} を構築することで、フレームワークを適用。

実験結果

リサーチクエスチョン

• RQ1 AIおよび数値解析における滑らかでないが非凸な問題に対して、柔軟な微分法を支える一般化された微分概念を構築できるか？
• RQ2 特にReLUネットワークに対して、一般化された微分を用いてディープラーニングにおける自動微分を形式的に正当化できるか？
• RQ3 非滑らかで非凸な設定において、ミニバッチ確率的勾配降下法がどのような条件下で収束するか？
• RQ4 定義可能および代数的構造が、非滑らか最適化アルゴリズムの収束を保証する役割を果たすか？
• RQ5 保存的場を用いて、古典的な収束結果（例：Łojasiewicz不等式）を非滑らかで局所的分割された設定に一般化できるか？

主な発見

• 二乗損失を伴うReLUネットワークにおけるバックプロパゲーションは、保存的場を生成し、アルゴリズムのダイナミクスが保存的対象によって支配されることを保証する。
• 代数的または定義可能なネットワークでは、バックプロパゲーションを用いたミニバッチ確率的勾配降下法が、確率1で損失関数のBP_J臨界集合に収束する。
• Clarkeの部分微分は最小の凸的保存的場であり、保存的場はほとんど everywhere で古典的勾配と一致する。
• 定義可能な設定では、ホイットニー分解に基づく変分的局所的分割公式を用いて、保存的場が表現可能であり、幾何的およびダイナミカルな解析が可能になる。
• 本フレームワークは、非滑らかなKurdyka-Łojasiewicz不等式およびMorse-Sardの定理を定義可能な保存的場に一般化する。
• 最適化手法を最初に選択し、その後自動微分と定義可能性の仮定に基づいて保存的場を一致させるというプロトコルにより、ADAM や重力モーメント法を含む多様なアルゴリズムにおける収束解析が可能になる。