[論文レビュー] Decomposing Linearly Constrained Nonconvex Problems by a Proximal Primal Dual Approach: Algorithms, Convergence, and Applications

Mingyi Hong|arXiv (Cornell University)|Apr 2, 2016

Sparse and Compressive Sensing Techniques参考文献 45被引用数 32

ひとこと要約

本稿では、線形制約付き非凸最適化問題を解くためのプロキシマル・プライマルデュアルアルゴリズムであるProx-PDAを提案する。罰則パラメータが閾値を超えると、局所最適解へのグローバルなサブリニア収束を達成し、非凸分散設定においてEXTRAアルゴリズムがグローバルに局所最適解へ収束することを明らかにする。

ABSTRACT

In this paper, we propose a new decomposition approach named the proximal primal dual algorithm (Prox-PDA) for smooth nonconvex linearly constrained optimization problems. The proposed approach is primal-dual based, where the primal step minimizes certain approximation of the augmented Lagrangian of the problem, and the dual step performs an approximate dual ascent. The approximation used in the primal step is able to decompose the variable blocks, making it possible to obtain simple subproblems by leveraging the problem structures. Theoretically, we show that whenever the penalty parameter in the augmented Lagrangian is larger than a given threshold, the Prox-PDA converges to the set of stationary solutions, globally and in a sublinear manner (i.e., certain measure of stationarity decreases in the rate of $\mathcal{O}(1/r)$, where $r$ is the iteration counter). Interestingly, when applying a variant of the Prox-PDA to the problem of distributed nonconvex optimization (over a connected undirected graph), the resulting algorithm coincides with the popular EXTRA algorithm [Shi et al 2014], which is only known to work in convex cases. Our analysis implies that EXTRA and its variants converge globally sublinearly to stationary solutions of certain nonconvex distributed optimization problem. There are many possible extensions of the Prox-PDA, and we present one particular extension to certain nonconvex distributed matrix factorization problem.

研究の動機と目的

• 構造的分解を伴う非凸で線形制約付き最適化問題における一次元法の収束保証の欠如に対処する。
• 変数ブロックをプロキシマル近似による増大ラグランジュ関数を用いて分解するプライマルデュアルアルゴリズムを構築し、スケーラブルな実装を可能にする。
• 罰則パラメータの閾値条件を満たす場合に、グローバルにサブリニア収束して局所最適解へ収束することを確立する。
• 理論的分析を拡張し、従来凸ケースに限定されていたEXTRAアルゴリズムが、非凸分散設定においてもグローバルに局所最適解へ収束することを示す。
• 具体的な拡張を通じて、非凸分散行列因子分解問題への適用可能性を示す。

提案手法

• 変数ブロックの分解を可能にするために、増大ラグランジュ関数のプロキシマル近似を最小化するプライマルステップを有するプロキシマル・プライマルデュアルアルゴリズム（Prox-PDA）を提案する。
• 双対変数を更新するための近似双対上昇ステップを用い、双対反復列が有界であり、収束が保たれることを保証する。
• 増大ラグランジュ関数とプロキシマル項を組み合わせたポテンシャル関数を導入し、罰則パrameterとプロキシマルパラメータが特定の不等式を満たす場合に、その減少が保証される。
• ポテンシャル関数が下界であることを証明し、その減少率がO(1/r)であることを示すことで、局所最適解へのサブリニア収束を確立する。
• 行列構造（例：A^T A）を活用して、減少性と反復列の有界性を保証するための罰則パラメータとプロキシマルパラメータの条件を導出する。
• 問題を共通化形式にマッピングすることで、非凸分散最適化にフレームワークを適用し、非凸性下でもEXTRAアルゴリズムと同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 一次元プライマルデュアル法は、変数分解を伴う非凸で線形制約付き問題に対して、グローバルにサブリニア収束して局所最適解へ収束できるか？
• RQ2 罰則パラメータとプロキシマルパラメータにどのような条件を満たすことで、Prox-PDAアルゴリズムの収束が保証されるか？
• RQ3 凸分散最適化に特化していたEXTRAアルゴリズムは、非凸設定においてもグローバルに局所最適解へ収束するか？
• RQ4 Prox-PDAフレームワークは、非凸分散行列因子分解問題へ拡張可能か？
• RQ5 制約行列Aの構造は、アルゴリズムの収束性と安定性にどのように影響するか？

主な発見

• 罰則パラメータβが一定の閾値を超える限り、Prox-PDAは局所最適解の集合へグローバルにO(1/r)のサブリニアレートで収束する。
• アルゴリズムは、β、γ、c、dを含む4つの結合不等式を満たすことで、ポテンシャル関数の減少を保証する。これらの不等式は、パラメータを適切に選ぶことで常に満たされる。
• プライマルおよび双対反復列は極限で有界である。これは収束解析にとって不可欠である。
• 連結で無向グラフ上での分散非凸最適化に適用した場合、Prox-PDAはEXTRAアルゴリズムに帰着する。これは、EXTRAアルゴリズムが非凸ケースにおいてもグローバルに局所最適解へ収束することを示唆する。
• 解析により、ネットワーク全体の共通化制約が漸近的に満たされること、すなわちA X^r → 0が極限で成り立つことが証明される。
• 本手法は、非凸分散行列因子分解問題へ拡張され、標準形式を超えた実用的応用の有効性が示された。