[論文レビュー] Fast gradient descent method for convex optimization problems with an oracle that generates a $(\delta,L)$-model of a function in a requested point

Alexander Tyurin, Alexander Gasnikov|arXiv (Cornell University)|Nov 7, 2017

Sparse and Compressive Sensing Techniques参考文献 13被引用数 6

ひとこと要約

本稿は、関数の新たな（δ, L）モデルを用いた凸最適化の統一的枠組みを導入し、（δ, L）-オракル概念を一般化する。不正確な補助部分問題の解を許容する高速勾配法を提案し、合成的・レベル的・条件付き勾配法・プロキシマル法を一つの収束解析で統合し、最適な反復複雑度を達成する。

ABSTRACT

In this article we propose a new concept of a $(\delta,L)$-model of a function which generalizes the concept of the $(\delta,L)$-oracle (Devolder-Glineur-Nesterov). Using this concept we describe the gradient descent method and the fast gradient descent method and we show that many popular methods (composite optimization methods, level methods, conjugate gradient methods, proximal methods) are special cases of proposed methods in this article.

研究の動機と目的

• 凸最適化の既存の一次順序法を一つの枠組みで統一すること。
• 補助部分問題における不正確な解を許容できるように、（δ, L）-オーケストラルの概念を一般化すること。
• （δ, L）-モデル枠組み下で勾配法および高速勾配法の収束保証を確立すること。
• 合成的・条件付き勾配法・プロキシマル法が提案された枠組みの特別な場合であることを示すこと。
• 関数値の精度に基づく実用的な収束基準を、不正確な部分問題の解に適用すること。

提案手法

• 点 y における関数 F(x) の新しい（δ, L）-モデルを提案。Fδ(y) および ψδ(x,y) により定義され、F(x) − Fδ(y) − ψδ(x,y) ≤ L/2‖x−y‖² + δ を満たす。
• d を1強凸なプロキシマル関数とするとき、距離測度としてBregman発散 V(x,y) = d(x)−d(y)−⟨∇d(y),x−y⟩ を用いる。
• 各反復で、モデル関数 ψδ(x,xk) + αkV(x,xk) を最小化する高速勾配法を構築し、不正確な解を許容する。
• 補助部分問題の解法における εδ-精度を導入し、主問題の関数値において εδ-最適性を保証する。
• 合成的・レベル的・条件付き勾配法の既知の最適バウンドに一致する収束レートを導出するために、この枠組みを適用する。
• 補助問題がLipschitz連続勾配を持つ場合、リスタート技術により線形収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 合成的・レベル的・条件付き勾配法・プロキシマル法を一つのモデルで統合できる統一的枠組みを開発できるか？
• RQ2 補助部分問題の不正確な解を扱いながら、収束性と最適な反復複雑度を保つにはどうすればよいか？
• RQ3 高速勾配法の収束を保証するための、モデル精度（δ）および曲率（L）の最小要件は何か？
• RQ4 （δ, L）-モデル概念は、Devolder–Glineur–Nesterovの（δ, L）-オーケストラルを一般化できるか？
• RQ5 部分問題の解法における εδ-精度と主問題の関数値精度の関係は何か？

主な発見

• 提案された高速勾配法は、（δ, L）-モデル枠組み下で、ε-最適解に対して最適な反復複雑度 O(1/ε) を達成する。
• この枠組みは、合成的・レベル的・条件付き勾配法・プロキシマル法を、提案手法の特別な場合として統合する。
• 補助部分問題の解法に εδ-精度を適用することで、主問題の関数値において εδ-最適性が保証される。
• 分離可能または構造的問題では、バイセクション法を用いて変数1つあたり O(ln(1/ε)) 時間で補助部分問題を解ける。
• 補助問題がLipschitz連続勾配を持つ場合、リスタート技術により線形収束が達成される。
• （δ, L）-モデルは（δ, L）-オーケストラルを一般化し、多様な最適化問題にわたる統一的収束解析を可能にする。