[論文レビュー] Local Optimality and Generalization Guarantees for the Langevin Algorithm via Empirical Metastability

Belinda Tzen, Tengyuan Liang+1 more|arXiv (Cornell University)|Feb 18, 2018

Markov Chains and Monte Carlo Methods参考文献 12被引用数 6

ひとこと要約

本稿では、経験的準安定性（empirical metastability）の概念を導入することで、非凸な経験的リスク最小化におけるランジュバンアルゴリズムの局所最適性および一般化保証を確立する。高い確率で、アルゴリズムは局所最適解の $\varepsilon$-近傍から速やかに脱出するか、指数的に長い時間その中で留まることが保証され、エアリング＝クラマース則と整合的であり、母集団リスクに対する弱い仮定のもとで一般化境界を導くことが可能になる。

ABSTRACT

We study the detailed path-wise behavior of the discrete-time Langevin algorithm for non-convex Empirical Risk Minimization (ERM) through the lens of metastability, adopting some techniques from Berglund and Gentz (2003. For a particular local optimum of the empirical risk, with an arbitrary initialization, we show that, with high probability, at least one of the following two events will occur: (1) the Langevin trajectory ends up somewhere outside the $\varepsilon$-neighborhood of this particular optimum within a short recurrence time; (2) it enters this $\varepsilon$-neighborhood by the recurrence time and stays there until a potentially exponentially long escape time. We call this phenomenon empirical metastability. This two-timescale characterization aligns nicely with the existing literature in the following two senses. First, the effective recurrence time (i.e., number of iterations multiplied by stepsize) is dimension-independent, and resembles the convergence time of continuous-time deterministic Gradient Descent (GD). However unlike GD, the Langevin algorithm does not require strong conditions on local initialization, and has the possibility of eventually visiting all optima. Second, the scaling of the escape time is consistent with the Eyring-Kramers law, which states that the Langevin scheme will eventually visit all local minima, but it will take an exponentially long time to transit among them. We apply this path-wise concentration result in the context of statistical learning to examine local notions of generalization and optimality.

研究の動機と目的

• 非凸な経験的リスク最小化におけるランジュバンアルゴリズムの洗練された経路に依存する解析を提供すること。
• 短時間の再帰、中間の準安定、長時間の脱出という3つの時間スケールにおけるアルゴリズムの挙動を特徴づけること。
• 経験的準安定性を統計的学習性能と結びつけることで、一般化保証を確立すること。
• 勾配降下法とは異なり、強い初期化条件を必要とせず、劣悪な局所最適解から脱出できる点を示すこと。
• 弱い正則性条件のもとで、経験的リスクと母集団リスクの乖離に関する高確率的バインディングを導出することにより、安定性と一般化を保証すること。

提案手法

• 確率過程および準安定性理論の技術、特に Berglund と Gentz (2003) の研究に着想を得て、離散的ランジュバンダイナミクスを分析する。
• 経験的準安定性の概念を導入：高い確率で、ランジュバン軌道は局所最適解の $\varepsilon$-近傍から速やかに脱出するか、指数的に長い時間その中で留まる。
• 二時間スケール解析を採用：再帰時間は次元に依存せず、決定的勾配降下法に類似するが、脱出時間はエアリング＝クラマース則に従う。
• 集中不等式を用いて、弱い正則性条件のもとで、経験的リスクおよびその勾配が母集団リスクからどれほど乖離するかを制御する。
• ワイエルの摂動定理を用いて、母集団リスクが強くモース的であれば、経験的リスクのヘッセ行列が高確率で適切に条件付けられることが示される。
• 経験的リスク誤差を2つの成分に分解することで一般化境界を導出する：経験的・母集団リスクの乖離と、軌道の非最適性。

実験結果

リサーチクエスチョン

• RQ1 ランジュバンアルゴリズムは、経験的リスクの悪い局所最適解に閉じ込められるのを避けられる条件は何か？
• RQ2 ランジュバンアルゴリズムの再帰時間は次元およびステップサイズにどのように依存するか？また、決定的勾配降下法と比較するとどうなるか？
• RQ3 局所最適解からの典型的な脱出時間は何か？非凸な設定でもエアリング＝クラマース則と整合的か？
• RQ4 経験的準安定性を用いて、統計的学習におけるランジュバンアルゴリズムの高確率的一般化境界を導出可能か？
• RQ5 サンプリングのもとで、経験的リスクの地形と母集団リスクの地形の関係は何か？また、局所最適解が保存されるための条件は何か？

主な発見

• 高い確率で、ランジュアン軌道は、$\tilde{\mathcal{O}}\left(\frac{1}{\eta}\log\frac{1}{\varepsilon}\right)$ の再帰時間内に局所最適解の $\varepsilon$-近傍から脱出するか、それとも指数的に長い脱出時間の間その中で留まる。
• 再帰時間は次元に依存せず、連続時間の決定的勾配降下法の収束時間に類似しており、強い初期化条件を必要としない。
• 脱出時間はエアリング＝クラマース則に従い、次元に指数的に依存する。これは、アルゴリズムが最終的にすべての局所最適解を訪問するが、そのために指数的に長い時間がかかるということを意味する。
• 弱い仮定のもとで、$n \geq cd\log d$ かつ $n/d\log n \geq c\sigma^2/(\varepsilon_0 \wedge m)^2$ のとき、経験的リスクは高確率で $(\varepsilon_0, m)$-強くモース的であり、局所最適解が適切に条件付けられる。
• 高い確率で、経験的リスクと母集団リスクの乖離は $\sigma\sqrt{cd\log n / n}$ で有界であり、ここで $\sigma = (A + (B + MR)R) \vee (B + MR) \vee (C + LR)$ である。
• 一般化誤差は $\sigma\sqrt{cd\log n / n}$ に加え、軌道が局所最適解の小さな近傍に留まる場合に消える項で有界であり、高確率的一後験的リスク境界をもたらす。