[論文レビュー] Underestimate Sequences via Quadratic Averaging.

Chenxin Ma, Naga V. C. Gudapati+3 more|arXiv (Cornell University)|Oct 10, 2017

Sparse and Compressive Sensing Techniques参考文献 5被引用数 5

ひとこと要約

この論文は、強い凸性を満たす滑らかで合成的関数に対して、ネステロフの推定列を拡張する新しい枠組みであるUnderestimate Sequence（UES）を導入する。下界を効率的に更新することで、自然な停止条件と最適な収束速度を達成する1次元最適化法を提案し、最適性の証明を提供する。

ABSTRACT

In this work we introduce the concept of an Underestimate Sequence (UES), which is a natural extension of Nesterov's estimate sequence. Our definition of a UES utilizes three sequences, one of which is a lower bound (or under-estimator) of the objective function. The question of how to construct an appropriate sequence of lower bounds is also addressed, and we present lower bounds for strongly convex smooth functions and for strongly convex composite functions, which adhere to the UES framework. Further, we propose several first order methods for minimizing strongly convex functions in both the smooth and composite cases. The algorithms, based on efficiently updating lower bounds on the objective functions, have natural stopping conditions, which provides the user with a certificate of optimality. Convergence of all algorithms is guaranteed through the UES framework, and we show that all presented algorithms converge linearly, with the accelerated variants enjoying the optimal linear rate of convergence.

研究の動機と目的

• 目的関数の下界を用いて最適性の証明を提供する、1次最適化の新しい枠組みの開発。
• 統一的な枠組み内で、強い凸性を満たす滑らかな関数および合成的関数に対する有効な下界を構築する課題への対処。
• これらの下界を活用して、線形収束を保証する1次アルゴリズムの設計。
• 双対ギャップに基づく自然な停止条件の提供により、最適化中に近似的最適性を検証可能にする。
• ネステロフの推定列の概念を、下界を表す列をコアな構成要素として明示的に組み込む形で拡張する。

提案手法

• 目的関数の下界を表す1つの列を備える3列フレームワークとして、Underestimate Sequence（UES）を導入。
• UESの条件を満たす強い凸性を満たす滑らかな関数および強い凸性を満たす合成的関数に対して、明示的な下界を構築。
• 目的関数から下側を追跡するように、下界列を反復的に更新する1次最適化アルゴリズムを設計。
• 下界の更新を安定かつ効率的に行い、収束保証を維持するために、2次平均化技術を採用。
• 現在の反復点と下界との間の双対ギャップに基づく自然な停止条件を統合。
• UESフレームワーク内での下界列の進化を分析することで収束速度を導出し、加速版に対して線形収束と最適なレートを証明。

実験結果

リサーチクエスチョン

• RQ1 強い凸性を満たす滑らかな関数および合成的関数に対して、最適性の証明を支援する下界列を体系的に構築する方法は何か？
• RQ2 2次平均化は、安定的かつ収束的である推定列を構築するために果たす役割は何か？
• RQ3 推定列に基づく1次法は、強い凸問題に対して最適な線形収束速度に達成可能か？
• RQ4 提案されたアルゴリズムは、双対ギャップに基づく自然な停止条件をどのように提供するか？
• RQ5 UESフレームワークは、ネステロフの元々の推定列をどのように一般化・改善するか？

主な発見

• 提案されたUnderestimate Sequence（UES）フレームワークは、目的関数の下界を明示的に組み込むことで、ネステロフの推定列を正式に拡張した。
• 強い凸性を満たす滑らかな関数に対して、UESに基づくアルゴリズムは最適なレートで線形収束を達成し、既知の最良理論的境界と一致する。
• フレームワークはプロキシマル項を含む合成関数をサポートし、Lasso やファズドLasso などの問題への応用を可能にする。
• アルゴリズムには、双対ギャップがユーザーが定めた許容誤差以下である場合に最適性の証明が得られる自然な停止条件が統合されている。
• 2次平均化の使用により、下界列の安定的かつ効率的な更新が保証され、収束および実装の観点で極めて重要である。
• アルゴリズムの加速版は最適な線形収束速度に達し、UESフレームワーク内での理論的最適性を確認した。