[論文レビュー] Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization

Donghwan Kim, Jeffrey A. Fessler|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、強い凸性を示す関数を含む合成凸関数の最小化に対して、$O(1/k^{1.5})$ の改善された収束速度を達成する一般化された高速双対プロキシマル勾配法（GFDPG）を提案する。双対問題に一般化加速プロキシマル勾配法（GFPGM）を統合することにより、双対プロキシマル勾配ノルムの低下が加速され、従来の $O(1/k)$ の収束速度を示す FDPG 法と比較して、プライマル関数の低下がより速くなる。

ABSTRACT

We consider minimizing the composite function that consists of a strongly convex function and a convex function. The fast dual proximal gradient (FDPG) method decreases the dual function with a rate $O(1/k^2)$, leading to a rate $O(1/k)$ for decreasing the primal function. We propose a generalized FDPG method that guarantees an $O(1/k^{1.5})$ rate for the dual proximal gradient norm decrease. By relating this to the primal function decrease, the proposed approach decreases the primal function with the improved $O(1/k^{1.5})$ rate.

研究の動機と目的

• 強い凸性を示す関数を含む合成凸最適化問題に対する、双対ベースのプロキシマル勾配法の収束速度を向上させること。
• 合成凸問題における双対プロキシマル勾配ノルムの減少とプライマル関数の減少の間の関係を確立すること。
• プライマル関数に対して $O(1/k^{1.5})$ のより速い収束速度を達成する一般化された高速双対プロキシマル勾配（GFDPG）法を開発すること。
• ネステロフおよびネコアラの解析を、強い凸性を有する一般合成問題へと拡張すること。
• 強い凸性パラメータが不明または推定が困難な場合に対応するバックトラッキングスキームを組み込むこと。

提案手法

• プライマル合成問題をラグランジュ双対性を用いて双対形式に再定式化し、一方の成分の強い凸性を活用する。
• 従来の FDPG 法で用いられる標準的な FISTA 加速と異なり、双対問題に一般化加速プロキシマル勾配法（GFPGM）を適用する。
• GFPGM により、双対プロキシマル勾配ノルムの低下が $O(1/k^{1.5})$ のレートで保証され、これがプライマル関数の低下に対しても同様のレートを示すことが示される。
• 列 $\mathbf{y}_k$, $\mathbf{w}_k$, $\mathbf{s}_k$ とパラメータ $T_k$, $t_k$, $L_k$ を含む再帰的不等式に基づくテレスコピック和の議論を用いる。
• 強い凸性パラメータ $\sigma$ が不明または推定が困難な場合に備えてバックトラッキングスキームを組み込み、$O(1/k^{1.5})$ の収束速度を維持する。
• プロキシマル作用素の性質と強い凸性を用いて主要な不等式を導出し、プライマル関数誤差および解からの反復点の距離に対する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性を有する合成凸問題に対して、双対ベースのプロキシマル勾配法の収束速度を $O(1/k)$ を超えて向上させることは可能か？
• RQ2 このような問題において、双対プロキシマル勾配ノルムの減少とプライマル関数誤差の間には直接的な関連があるか？
• RQ3 一般化 FPGM（GFPGM）を双対性と効果的に組み合わせることで、プライマル関数低下に $O(1/k^{1.5})$ のより速いレートを達成できるか？
• RQ4 強い凸性パラメータが不明または近似的に推定される場合に、提案された GFDPG 法は改善されたレートを維持するか？
• RQ5 実際の応用において、標準的な FDPG 法や FISTA をベースにした手法と比較して、提案手法の収束速度はどの程度速いか？

主な発見

• 提案された GFDPG 法は、プライマル関数の低下レートを $O(1/k^{1.5})$ に達成し、標準的な FDPG 法の $O(1/k)$ レートを上回る。
• 双対プロキシマル勾配ノルムの低下率がプライマル関数誤差と直接関連していることが示され、改善された収束速度の導出が可能となった。
• 強い凸性パラメータ $\sigma$ が不明な場合に備えてバックトラッキングスキームを組み込むことで、$O(1/k^{1.5})$ の収束速度を維持する。
• 標準的な FDPG 法のレートと一致する $O(1/k)$ のプライマル関数低下に対する境界も副次的に証明された。
• 理論的解析により、再帰的不等式のテレスコピック和が、最適解からの反復点の距離に対する境界を通じて $O(1/k^{1.5})$ 収束速度を導くことが確認された。
• 計算的に効率的であり、FISTA と同等の計算複雑性を持つため、画像ノイズ除去やモデル予測制御などの大規模応用において実用的である。