[論文レビュー] Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions

Donghwan Kim, Jeffrey A. Fessler|arXiv (Cornell University)|Mar 18, 2018

Sparse and Compressive Sensing Techniques参考文献 26被引用数 16

ひとこと要約

本稿では、初期関数値が有界である条件のもとで、勾配ノルムの最悪ケース減少を最小化する、滑らかで凸な最小化問題に対する最適化された一次順序法 OGM-G を提案する。パフォーマンス評価問題（PEP）フレームワークを用いて、定数を除いて最適な最悪ケース勾配境界を達成するステップ係数を導出する。計算的に効率的な形は、最適化勾配法（OGM）に類似している。

ABSTRACT

This paper optimizes the step coefficients of first-order methods for smooth convex minimization in terms of the worst-case convergence bound (i.e., efficiency) of the decrease in the gradient norm. This work is based on the performance estimation problem approach. The worst-case gradient bound of the resulting method is optimal up to a constant for large-dimensional smooth convex minimization problems, under the initial bounded condition on the cost function value. This paper then illustrates that the proposed method has a computationally efficient form that is similar to the optimized gradient method.

研究の動機と目的

• 滑らかで凸な最小化問題における勾配ノルムの減少の最悪ケースレートを最適化する一次順序法を開発すること。
• 初期関数値が有界である条件のもとで、最悪ケース勾配収束レートを最適化する手法の不足を解消すること。
• パフォーマンス評価における制限付き緩和によって生じる最悪ケースの下界が非効率な既存の手法の改善。
• OGM に類似した形式を有する計算的に効率的な手法を提供し、実用的導入を可能にすること。
• 凸および非凸設定における勾配法収束の理論的理解を拡張すること。

提案手法

• パフォーマンス評価問題（PEP）フレームワークを用いて、一次順序法の最悪ケース収束を分析する。
• 最悪ケース勾配ノルムの減少を最小化するために、緩和されたPEP定式化を解いてステップ係数を導出する。
• 数列 {θ̃i} が θ̃i² = θ̃i−1(θ̃i−1 + 1) を満たす再帰的構造に基づいて、OGM-G と呼ばれる新しい手法を導入する。
• OGM に類似した構造を持つ、計算的に効率的な OGM-G の同等形式を確立する。
• 正確な最悪ケース分析を用いて、勾配法（GM）および OGM-G の境界を導出する。緩和による保守的見積もりを避ける。
• 初期関数値が有界である条件のもとで、OGM-G の勾配減少率が定数因子を除いて最適であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで凸な関数に対して、一次順序法を最適化し、勾配ノルムの減少の最悪ケースレートを最良にできるか？
• RQ2 初期最適解からの距離を知らなくても、最適な勾配収束を達成できるか？
• RQ3 初期関数値が有界である条件のもとで、標準勾配法（GM）の正確な最悪ケース勾配境界は何か？
• RQ4 定数因子を除いて理論的最悪ケース勾配減少境界に一致する計算的に効率的な手法を導出できるか？
• RQ5 同じ初期条件下で、OGM-G の勾配収束性能は既存の加速手法と比べてどうか？

主な発見

• 初期関数値が有界である条件のもとで、OGM-G は定数因子を除いて最適な最悪ケース勾配ノルム減少率を達成する。
• PEP フレームワークを用いて、標準勾配法（GM）の最悪ケース勾配境界を正確に導出し、新たな理論的ベンチマークを提供する。
• OGM-G は OGM に類似した計算的に効率的な形式を有しており、1反復あたりのコストが低く、実用的であることが示された。
• 従来の PEP に基づく解析で用いられる厳密な緩和を回避することで、よりタイトで正確な最悪ケース境界が得られた。
• OGM-G は、同じ初期条件下で、他の一次順序法がより良い最悪ケース勾配減少率を達成できないという意味で最適である。
• 初期最適解からの距離が有界でない場合（例：分離可能なデータに対する正則化なしのロジスティック回帰）にも適用可能であり、距離に基づく仮定よりもより広く適用可能である。