[論文レビュー] Convergence rate analysis of fast primal-dual methods with scalings for linearly constrained convex optimization problems

Xin He, Rong Hu+1 more|arXiv (Cornell University)|Mar 18, 2021

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、線形制約付き凸最適化問題に対するネステロフの加速にインspされたスケーリングを組み込んだプライマル・デュアルアルゴリズムを提案する。適切なスケーリングのもとで、𝒪(1/k²)より速い収束速度が確立され、不正確なプロキシマルおよび線形化更新を用いる変種が提示され、時間スケーリングを用いた慣性的ダイナミクスの分析により、加速メカニズムの理解が深められる。

ABSTRACT

We propose a primal-dual algorithm with scaling, linked to the Nesterov's acceleration scheme, for a linear equality constrained convex optimization problem. We also consider two variants of the algorithm: an inexact proximal primal-dual algorithm and an inexact linearized primal-dual algorithm. We prove that these algorithms enjoy fast convergence properties, even faster than $\mathcal{O}(1/k^2)$ under suitable scaling conditions. Finally, we study an inertial primal-dual dynamic with time scaling for a better understanding of accelerated schemes of the proposed algorithms.

研究の動機と目的

• 線形制約付き凸最適化問題の収束速度を向上させるスケーリング付きプライマル・デュアルアルゴリズムの開発。
• 実用的応用性を高めるために、不正確なプロキシマルおよび線形化バージョンのプライマル・デュアル法の分析。
• 適切なスケーリング条件下で、𝒪(1/k²)より速い収束速度の確立。
• 加速のメカニズムを理解するため、時間スケーリングを用いた慣性的プライマル・デュアルダイナミクスの研究。

提案手法

• アルゴリズムは、Nesterovの加速技術を応用した適応的スケーリングを備えたプライマル・デュアルフレームワークを採用し、収束速度の向上を図る。
• プロキシマルステップにおける近似解を許容する不正確なプロキシマルプライマル・デュアル変種を導入し、計算効率を向上させる。
• 目的関数を局所的に近似することで、部分問題の解法を簡素化する線形化アルゴリズムを提案する。
• 加速されたスキームの挙動をモデル化・分析するために、慣性的ダイナミクスに時間スケーリングを組み込む。
• 凸性および線形等式制約の仮定の下で収束解析を行い、スケーリングによるレート改善に焦点を当てる。
• 理論的解析では、リャプノフ関数および連続時間ダイナミクスを用いて、レートバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 スケーリング付きプライマル・デュアルアルゴリズムは、線形制約付き凸問題において𝒪(1/k²)より速い収束速度を達成できるか？
• RQ2 不正確なプロキシマルおよび線形化変種は、収束速度および実用的パフォーマンスにどのように影響を与えるか？
• RQ3 時間スケーリングは、慣性的プライマル・デュアルダイナミクスにおける加速の理解に果たす役割は何か？
• RQ4 どのようなスケーリング条件下で、提案手法が標準的なプライマル・デュアルスキームを上回るか？

主な発見

• 適切なスケーリング条件下で、提案されたスケーリング付きプライマル・デュアルアルゴリズムは𝒪(1/k²)より速い収束速度を達成する。
• 不正確なプロキシマルプライマル・デュアル変種は、プロキシマルステップにおける近似誤差に対してロバストでありながらも、高速収束を維持する。
• 線形化変種は、計算コストを低減しつつも、高速収束を保持する。
• 時間スケーリングを用いた慣性的プライマル・デュアルダイナミクスは、連続時間的解釈を提供し、加速メカニズムの理解を深める。