[論文レビュー] Super-efficiency of automatic differentiation for functions defined as a minimum

Pierre Ablin, Gabriel Peyré+1 more|arXiv (Cornell University)|Feb 10, 2020

Stochastic Gradient Optimization Techniques被引用数 17

ひとこと要約

この論文は、最小値として定義された関数における3つの勾配推定器を分析し、反復的ソルバを介したバックプロパゲーションによる自動微分（AD）が、特異的効率性を示すことを示している：ADの誤差は、解析的推定器の誤差の二乗に比例してスケーリングされる。AD推定器は、ソルバの収束が非線形である場合に速やかに収束するが、計算コストが高いため、ソルバの収束が線形である場合には解析的推定器が望ましい。

ABSTRACT

In min-min optimization or max-min optimization, one has to compute the gradient of a function defined as a minimum. In most cases, the minimum has no closed-form, and an approximation is obtained via an iterative algorithm. There are two usual ways of estimating the gradient of the function: using either an analytic formula obtained by assuming exactness of the approximation, or automatic differentiation through the algorithm. In this paper, we study the asymptotic error made by these estimators as a function of the optimization error. We find that the error of the automatic estimator is close to the square of the error of the analytic estimator, reflecting a super-efficiency phenomenon. The convergence of the automatic estimator greatly depends on the convergence of the Jacobian of the algorithm. We analyze it for gradient descent and stochastic gradient descent and derive convergence rates for the estimators in these cases. Our analysis is backed by numerical experiments on toy problems and on Wasserstein barycenter computation. Finally, we discuss the computational complexity of these estimators and give practical guidelines to chose between them.

研究の動機と目的

• 最小値として定義された関数における3つの勾配推定器（解析的、自動微分（AD）、暗黙的）の漸近的収束速度を比較すること。
• 反復的ソルバの収束がAD推定器の誤差に与える影響、特に反復のヤコビアンの役割を分析すること。
• 強い凸性の設定下で勾配降下法および確率的勾配降下法におけるAD推定器の理論的収束速度を提供すること。
• ワッサーシュタイン重心計算のような実用的状況における推定精度と計算コストのトレードオフを評価すること。
• ソルバの収束速度と計算予算に基づいて、推定器の選択に関する実用的ガイドラインを提示すること。

提案手法

• 解析的（近似最小値を代入）、自動微分（ソルバを介したバックプロパゲーション）、暗黙的（陰関数定理を用いる）の3つの勾配推定器を提案。
• 一次近似を用いた漸近的誤差バウンドを導出。AD推定器の誤差が o(|zt − z*|) であるのに対し、解析的推定器の誤差は O(|zt − z*|) であることを示した。
• Gilbert（1992）の手法を用いて、∂zt/∂x の収束を分析。強い凸性の下で勾配降下法および確率的勾配降下法の両方に対してバウンドを確立。
• Sinkhornアルゴリズムを用いたワッサーシュタイン重心問題に理論的枠組みを適用。ミラー降下法を用いて推定器の性能を比較。
• トロイ問題および実世界の応用における数値実験を実施。収束速度および計算コストのトレードオフを検証。
• 計算複雑度の比較を導出し、ADは1反復あたり解析的推定器の約2倍の計算コストであることを示した。

実験結果

リサーチクエスチョン

• RQ1 反復的ソルバを用いて最小値が近似された場合、解析的、自動微分、暗黙的勾配推定器の漸近的誤差はどのように比較されるか？
• RQ2 自動微分推定器の誤差は、ソルバの反復の収束速度およびそのヤコビアンにどのように依存するか？
• RQ3 勾配降下法と確率的勾配降下法の下で、勾配推定器の収束速度はどのように異なるか？
• RQ4 実用的最適化設定において、自動微分の特異的効率性は、計算コストの増加を上回る価値があるか？
• RQ5 ワッサーシュタイン重心計算のような非自明な問題において、理論的収束速度は実証的に観察可能か？

主な発見

• 自動微分推定器は特異的効率性を示す：その誤差は解析的推定器よりも漸近的に小さく、o(|zt − z*|) に対して O(|zt − z*|) に比例する。
• 暗黙的推定器の誤差は O(|zt − z*|²) に比例するため、最も漸近的に正確であるが、各ステップで線形方程式を解く必要があるため、計算コストが高い。
• 強い凸性の下で勾配降下法において、ヤコビアン ∂zt/∂x は線形に収束し、AD推定器の誤差は O(|zt − z*|) に比例する。
• 定数ステップサイズの確率的勾配降下法において、解析的推定器のノイズレベルは √ρ に比例するが、ADおよび暗黙的推定器は ρ に比例する。これにより、ADの収束が速いことが確認された。
• ステップサイズを ρt ∝ t⁻⁰·⁸ に減少させた場合、ADおよび暗黙的推定器は O(t⁻⁰·⁸) に収束するが、解析的推定器は O(√t⁻⁰·⁸) に収束する。理論的レートが実証的に確認された。
• ワッサーシュタイン重心実験において、ADは内側反復ごとに誤差の減少が速かったが、1反復あたりのコストが低いため、全体としての効率性は解析的推定器に優る。