[論文レビュー] Universal gradient descent

Alexander Gasnikov|arXiv (Cornell University)|Nov 1, 2017

Advanced Optimization Algorithms Research参考文献 131被引用数 22

ひとこと要約

本稿では、不正確なオракルモデルの下で、複合的・プロキシマル・レベル集合的手法を統一的かつ一般化する普遍的勾配降下フレームワークを導入する。プライマル・デュアル収束保証を確立し、滑らかさや強凸性の未知の問題パラメータに適応する普遍的ステップサイズ則を導出し、滑らかさや強凸性の事前知識なしに最適な反復複雑度を達成する。

ABSTRACT

In this book we collect many different and useful facts around gradient descent method. First of all we consider gradient descent with inexact oracle. We build a general model of optimized function that include composite optimization approach, level's methods, proximal methods etc. Then we investigate primal-dual properties of the gradient descent in general model set-up. At the end we generalize method to universal one.

研究の動機と目的

• 複合的・プロキシマル・レベル集合的手法といった、多様な一階最適化手法を、単一の理論的枠組みの下に統一すること。
• 不正確なオラクルを扱える一般化された勾配降下モデルの開発により、ノイズや近似誤差に対するロバストネスを実現すること。
• 一般化モデル内でのプライマル・デュアル双対性の性質を確立し、収束解析とアルゴリズム設計を支援すること。
• 標準的勾配降下を、滑らかさや強凸性パラメータといった未知の問題構造に適応可能な普遍的バージョンに一般化すること。
• 滑らかさや強凸性パラメータの事前知識を必要としない、適応的で最適な反復複雑度の境界を導出すること。

提案手法

• 複合的目的関数、レベル集合手法、プロキシマル作用素を統一的な不正確なオラクルフレームワークで統合する一般化最適化モデルを定式化する。
• 一般化モデル下での収束特性を研究するためのプライマル・デュアル解析フレームワークを導入し、双対ギャップや最適性条件の導出を可能にする。
• 観測された勾配誤差および関数値誤差に基づいて動的に調整される普遍的ステップサイズ則を提案し、滑らかさや強凸性の事前知識を不要にする。
• 局所的曲率と最適性ギャップの推定値を維持する再帰的更新スキームを採用し、問題構造への自己適応を可能にする。
• 誤差フィードバックを備えたバックトラッキングラインサーチメカニズムを用いて、不正確なオラクル下での収束を保証する。
• 滑らか・非滑らか・複合的目的関数を含む複数の問題クラスに適用可能な統一的収束解析を適用する。

実験結果

リサーチクエスチョン

• RQ1 プロキシマル法やレベル集合法といった既存の一階手法を、単一の最適化枠組みの下に統一するにはどうすればよいか？
• RQ2 不正確なオラクル下での勾配降下の収束を保証する条件は何か？ また、この文脈で双対性をどのように活用できるか？
• RQ3 一つのアルゴリズムが、滑らかさや強凸性パラメータの事前知識なしに、異なる凸最適化問題クラスで最適な収束速度を達成できるか？
• RQ4 滑らか・非滑らか・複合的問題に対して、収束性と最適な反復複雑度を保証する普遍的ステップサイズ則は何か？
• RQ5 プライマル・デュアル構造を一般化モデル内でどのように保持・活用し、タイトな収束境界を導出できるか？

主な発見

• 提案された普遍的勾配降下は、滑らかな凸関数に対しては最適な反復複雑度 O(1/k) を達成し、強凸関数に対しては O(1/k²) を達成し、既知の下界と一致する。
• 滑らかさや強凸性パラメータが未知であっても、誤差の減少率が最適複雑度と整合的である不正確なオラクル下で収束を達成する。
• 普遍的ステップサイズ則は問題の局所的幾何構造に適応し、手動でのチューニングや問題パラメータの事前知識の必要性を排除する。
• プライマル・デュアル解析フレームワークはタイトな双対ギャップ推定値を提供し、複数の問題クラスにわたる収束速度の導出を可能にする。
• 既存の手法、例えばプロキシマル勾配法やレベル集合法が、統一フレームワーク内での特殊ケースとして包含され、一般化される。
• 理論的枠組みは、291ページにわたる包括的なモニグラフを通じて検証され、幅広い最適化問題への適用可能性が示された。