[論文レビュー] Reproducibility in Optimization: Theoretical Framework and Limits

Kwangjun Ahn, Prateek Jain+4 more|arXiv (Cornell University)|Feb 9, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

この論文は、確率的勾配や数値誤差などのノイズありまたは不正確な操作下における凸最適化における再現性の限界を定量化する理論的枠組みを確立する。計算コストと再現性の間には根本的なトレードオフが存在し、最適な再現性を達成するには、より小さいステップサイズとより多くの反復回数が必須かつ十分であることを示しており、滑らかでない、滑らかでない、強く凸である設定において、きつい上限が導出されている。

ABSTRACT

We initiate a formal study of reproducibility in optimization. We define a quantitative measure of reproducibility of optimization procedures in the face of noisy or error-prone operations such as inexact or stochastic gradient computations or inexact initialization. We then analyze several convex optimization settings of interest such as smooth, non-smooth, and strongly-convex objective functions and establish tight bounds on the limits of reproducibility in each setting. Our analysis reveals a fundamental trade-off between computation and reproducibility: more computation is necessary (and sufficient) for better reproducibility.

研究の動機と目的

• 確率的勾配や数値誤差などのノイズありまたは不正確な操作下における凸最適化における再現性の根本的限界を形式化すること。
• 滑らかでない、滑らかでない、強く凸である、有限和、確率的最適化といった主要な凸最適化設定における再現性を分析すること。
• 計算複雑度（反復回数）と再現性の間の理論的トレードオフを確立すること。
• 実用的な1次最適化手法が、これらの理論的限界に達成可能かどうかを同定すること。

提案手法

• 同一のハイパーパrameterを用いるが、ノイズ実現値が異なる2つの最適化軌道間の期待二乗距離に基づく再現性の定量的測度を導入する。
• 有界領域における定数ステップサイズの投影勾配降下法を分析し、勾配ノイズ下での収束性とずれの上限を導出する。
• 再帰的不等式とテレスコピング和を用いて、2つの軌道間の期待二乗ずれを上限づける。勾配ノイズと初期化誤差を組み込む。
• 小さなステップサイズと大きな反復回数を選択することで、ずれの上限を導出し、このような設定が理論的再現性限界に達することを示す。
• 滑らかでない、滑らかでない、強く凸である関数を含む複数の凸設定にこの枠組みを適用し、一致する下限と上限を導出する。
• 集中とマルティンゲール風の議論を用いて、反復間での誤差の伝播を制御し、きついずれの上限に至る。

実験結果

リサーチクエスチョン

• RQ1 不正確な勾配または初期化ノイズ下における凸最適化における再現性の根本的限界は何か？
• RQ2 計算コストと再現性のトレードオフは、異なる凸最適化設定においてどのように現れるか？
• RQ3 標準的な1次最適化手法は、理論的再現性限界に達成可能か？
• RQ4 ステップサイズと反復回数は、最適な再現性を達成するために果たす役割は何か？
• RQ5 勾配ノイズと数値誤差は反復的最適化の過程でどのように伝播し、その影響に上限を設定できるか？

主な発見

• 計算と再現性の間には根本的なトレードオフが存在する：凸設定であっても、より良い再現性を達成するには、より多くの反復（高い計算コスト）が必要である。
• ε-精度のため、2つの軌道間の期待二乗ずれは、O(1/(ε²T) + δ²/ε²) のオーダーに比例する。ここで T は反復回数、δ は勾配ノイズレベルである。
• 小さなステップサイズと大きな反復回数を用いた投影勾配降下法は、滑らかでない、滑らかでない、強く凸である設定において、理論的再現性限界に達成する。
• 再現性の下限が、標準的勾配降下法によって達成された上限と一致しており、限界のタイトさが証明されている。
• 固定された乱数シードであっても、ハードウェアレベルの非決定的性質と数値誤差のため、再現不可能性は持続する。これらは完全に排除できない。
• 結果から、正則化のような高度な技術が、最適なステップサイズチューニング下での単純な勾配降下法が達成可能な範囲を超えて再現性を向上させないことが示唆される。