[論文レビュー] Convergence Properties of Stochastic Hypergradients

Riccardo Grazzi, Massimiliano Pontil+1 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Topology and Set Theory参考文献 19被引用数 6

ひとこと要約

本稿では、近似的な陰関数微分（AID）を用いた二段階最適化におけるハイパーグラデント計算のため、決定的ソルバーに代えて確率的ソルバーを用いるstochastic inexact descent（SID）手法を提案する。ハイパーグラデント推定器の平均二乗誤差の上限を、確率的ソルバーの選択に依存しない形で提供し、収縮仮定の下で収束を証明するとともに、ステップサイズを小さくするに従って実際の性能が向上することを示している。

ABSTRACT

Bilevel optimization problems are receiving increasing attention in machine learning as they provide a natural framework for hyperparameter optimization and meta-learning. A key step to tackle these problems is the efficient computation of the gradient of the upper-level objective (hypergradient). In this work, we study stochastic approximation schemes for the hypergradient, which are important when the lower-level problem is empirical risk minimization on a large dataset. The method that we propose is a stochastic variant of the approximate implicit differentiation approach in (Pedregosa, 2016). We provide bounds for the mean square error of the hypergradient approximation, under the assumption that the lower-level problem is accessible only through a stochastic mapping which is a contraction in expectation. In particular, our main bound is agnostic to the choice of the two stochastic solvers employed by the procedure. We provide numerical experiments to support our theoretical analysis and to show the advantage of using stochastic hypergradients in practice.

研究の動機と目的

• 二段階最適化におけるハイパーグラデント計算のための近似的な陰関数微分（AID）の確率的バージョンを開発すること。
• 下位問題および線形方程式のための特定の確率的ソルバーに依存しない、ハイパーグラデント推定器の平均二乗誤差の上限を提供すること。
• 収縮写像を用いた二段階問題に対応する、確率的固定点反復の収束解析を拡張すること。
• 実験的に、ステップサイズを小さくする場合の確率的ハイパーグラデントの有効性を検証すること。
• 高価な決定的ソルバーに代えて確率的代替手法を用いることで、スケーラブルなハイパーパrameter最適化およびメタラーニングを可能にすること。

提案手法

• 下位問題およびAIDにおける線形方程式の両方のための不偏な確率的近似を用いるstochastic inexact descent（SID）アルゴリズムを提案する。
• 下位問題の固定点方程式を解くための1つの確率的ソルバーと、ハイパーグラデント計算における線形方程式を解くためのもう1つの確率的ソルバーを採用する。
• 下位マッピング Φ(w,λ) に収縮写像仮定を課し、確率的固定点反復の収束を保証する。
• 特定のソルバーに依存しない、ハイパーグラデント推定器の平均二乗誤差の上限を導出する。この上限は収縮率および確率的近似の分散に依存する。
• 確率的固定点反復の一般的な収束解析を適用し、SGDの収束理論を強凸および収縮に基づく問題に拡張する。
• Stoch decバージョンでは、収束を保証するためにステップサイズを減少させる。一方、定常ステップサイズでは期待値の意味での収束が保証されない場合がある。

実験結果

リサーチクエスチョン

• RQ1 近似的な陰関数微分（AID）の確率的バージョンは、二段階最適化において真のハイパーグラデントに収束することができるか？
• RQ2 下位問題および線形方程式の両方を確率的に解いた場合、ハイパーグラデント推定器の平均二乗誤差の上限は何か？
• RQ3 確率的ソルバーの選択（例：定常ステップサイズ対減少ステップサイズ）は、ハイパーグラデント推定器の収束行動にどのように影響するか？
• RQ4 収縮写像を用いた二段階設定において、確率的固定点反復の収束解析を拡張できるか？
• RQ5 AIDに確率的ソルバーを用いることで、大規模な設定において決定的AIDに比べて実用的な性能が向上するか？

主な発見

• 提案されたSID手法は、下位問題および線形方程式のための確率的ソルバーの選択に依存しないハイパーグラデント推定器の平均二乗誤差の上限を提供する。
• SIDのStoch decバージョンは、反復回数 t に対して O(1/(γ_λ + t)) のレートで期待値として真のハイパーグラデントに収束する。
• Stoch constバージョンは、解の近傍に収束するが、期待値として真のハイパーグラデントに収束しない可能性がある。
• 数値実験の結果、特にステップサイズを減少させる場合、SIDは決定的AID手法よりもハイパーグラデントの近似精度が優れていることが示された。
• 収束解析により、収縮仮定の下でSGDフレームワークを確率的固定点反復に拡張し、理論的裏付けを提供した。
• 高価な決定的ソルバーに代えて確率的近似を用いることで、理論的保証を維持したままスケーラブルなハイパーパrameter最適化を実現した。