[論文レビュー] Stability and Convergence Trade-off of Iterative Optimization Algorithms

Yuansi Chen, Chi Jin+1 more|arXiv (Cornell University)|Apr 4, 2018

Stochastic Gradient Optimization Techniques参考文献 2被引用数 42

ひとこと要約

この論文は、学習における反復最適化の収束速度とアルゴリズムの安定性との根本的なトレードオフを明らかにし、最適化誤差と安定性の和がミンマックス統計誤差によって下側で境界付けされることを示し、凸および強凸設定の下で GD、SGD、NAG、HB の下界を導出する。

ABSTRACT

The overall performance or expected excess risk of an iterative machine learning algorithm can be decomposed into training error and generalization error. While the former is controlled by its convergence analysis, the latter can be tightly handled by algorithmic stability. The machine learning community has a rich history investigating convergence and stability separately. However, the question about the trade-off between these two quantities remains open. In this paper, we show that for any iterative algorithm at any iteration, the overall performance is lower bounded by the minimax statistical error over an appropriately chosen loss function class. This implies an important trade-off between convergence and stability of the algorithm -- a faster converging algorithm has to be less stable, and vice versa. As a direct consequence of this fundamental tradeoff, new convergence lower bounds can be derived for classes of algorithms constrained with different stability bounds. In particular, when the loss function is convex (or strongly convex) and smooth, we discuss the stability upper bounds of gradient descent (GD) and stochastic gradient descent and their variants with decreasing step sizes. For Nesterov's accelerated gradient descent (NAG) and heavy ball method (HB), we provide stability upper bounds for the quadratic loss function. Applying existing stability upper bounds for the gradient methods in our trade-off framework, we obtain lower bounds matching the well-established convergence upper bounds up to constants for these algorithms and conjecture similar lower bounds for NAG and HB. Finally, we numerically demonstrate the tightness of our stability bounds in terms of exponents in the rate and also illustrate via a simulated logistic regression problem that our stability bounds reflect the generalization errors better than the simple uniform convergence bounds for GD and NAG.

研究の動機と目的

• 反復的学習アルゴリズムにおいて、最適化の収束と一般化のバランスを取る必要性を喚起する。
• 最適化誤差とアルゴリズム安定性の和をミンマックス統計誤差によって下界付けする枠組みを導入する。
• 凸および強凸損失設定の下で、一般的な一階法に対する安定性の界と対応する収束下界を導出する。
• 安定性と収束のトレードオフの実用的な重要性を示す理論的洞察と数値デモンストレーションを提供する。

提案手法

• 期待過剰リスクを一般化誤差と最適化誤差に分解して、トレードオフを研究する。
• 一様アルゴリズム安定性（Bousquet and Elisseeff, 2002）を用いて一般化誤差を境界付ける。
• 2つの損失関数クラス（凸滑らか、強凸滑らか）を開発し、安定性と収束を結ぶ下界を証明する（定理7および9）。
• 凸滑らか設定の下で、GD、SGD、NAG、HBの安定性界を導出する（定理10–12）、一般凸滑らか損失への拡張を含む予想を提示。
• Le Cam型ミンナックス推論を適用して、安定性-収束のトレードオフを具体的な収束下界に変換する。
• レート指数を検証し、一様収束界値に対する一般化挙動を示すための数値シミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 学習における反復最適化アルゴリズムの収束速度と安定性を結ぶ根本的な制限は存在するのか？
• RQ2 一様安定性と最適化誤差は、凸および強凸滑らか損失クラス全体で期待過剰リスクをどのように共同で下界付けするのか？
• RQ3 安定性に基づく下界は、GD、SGD、NAG、HBの既知の収束速度を再現できるのか、そして高速な手法にどのような影響があるのか？
• RQ4 安定性の考慮は、初期反復において古典的な一様収束界より一般化誤差をより正確に反映するのか？

主な発見

• 根本的なトレードオフが存在する。最適化誤差と安定性の和は、選択された損失クラス上のミンマックス統計誤差以上である。
• 凸滑らかな損失に対してミンマックスレートは O(1/√n)、強凸滑らかな損失に対しては O(1/n) のオーダーである。
• 勾配降下法とSGDは、安定性制約フレームワーク内で、既知の上界と定数を除いて一致する収束下界を持つ。
• ネステロフの加速勾配法(NAG)とヘビーボール(HB)は、GDほど安定でなく、より速い収束を達成することはできないことを示す安定性界を示し、トレードオフと一致する。
• この枠組みは、異なる安定性界の下でアルゴリズムの新しい収束下界をもたらし、シミュレーションは初期反復において単純な一様界より一般化誤差をよりよく反映する速さを確認する。
• 経験的な図示（ロジスティック回帰）は、安定性界が一般化誤差の挙動と、単純な一様収束界よりもより密に一致することを示す。