[論文レビュー] Penalty Dual Decomposition Method For Nonsmooth Nonconvex Optimization

Qingjiang Shi, Mingyi Hong+2 more|arXiv (Cornell University)|Dec 13, 2017

Sparse and Compressive Sensing Techniques参考文献 49被引用数 43

ひとこと要約

本稿では、非線形に結合された制約を伴う非滑らかで非凸な最適化問題に対する二重ループアルゴリズムであるペナルティデュアル分解（PDD）法を提案する。内側のループではブロック座標降下法を用いて部分問題を解き、外側のループでは双対変数とペナルティパラメータを更新する。滑らかでない制約が存在する非凸問題においても、緩い条件下でKKT点への収束を証明し、信号処理や無線通信分野における困難な問題に対して効率的な解法を可能にする。

ABSTRACT

Many contemporary signal processing, machine learning and wireless communication applications can be formulated as nonconvex nonsmooth optimization problems. Often there is a lack of efficient algorithms for these problems, especially when the optimization variables are nonlinearly coupled in some nonconvex constraints. In this work, we propose an algorithm named penalty dual decomposition (PDD) for these difficult problems and discuss its various applications. The PDD is a double-loop iterative algorithm. Its inner iterations is used to inexactly solve a nonconvex nonsmooth augmented Lagrangian problem via block-coordinate-descenttype methods, while its outer iteration updates the dual variables and/or a penalty parameter. In Part I of this work, we describe the PDD algorithm and rigorously establish its convergence to KKT solutions. In Part II we evaluate the performance of PDD by customizing it to three applications arising from signal processing and wireless communications.

研究の動機と目的

• 非凸で非滑らかで、制約に非線形に結合された変数を含む最適化問題に対する効率的なアルゴリズムの不足を解消すること。
• 多ブロック、非凸、非滑らか最適化問題の構造を活用するスケーラブルで収束保証のあるアルゴリズムフレームワークの開発。
• 収束保証がなく、または悪条件問題を引き起こす可能性がある既存の手法（交互最適化AOやペナルティ法）の限界を克服すること。
• 連続的に微分可能な結合制約を伴う非凸問題に対して、KKT点への理論的収束を確立すること。
• 信号処理および無線通信分野における複雑な結合制約を持つ多様な応用に適用可能な統一的アルゴリズムフレームワークの提供。

提案手法

• 二重ループのペナルティデュアル分解（PDD）アルゴリズムを提案：内側のループではブロック座標降下法を用いて増強ラグランジュ部分問題を解き、外側のループでは双対変数とペナルティパラメータを更新する。
• 非凸制約を扱うために増強ラグランジュ形式を採用し、ペナルティ項と双対上昇法を組み合わせることで収束性と安定性を向上させる。
• 非凸で非滑らかな部分問題を近似的に解くために、内側のループでブロック座標降下型手法を用い、低計算量かつ並列化可能な更新を実現する。
• ペナルティパラメータの更新戦略を導入し、ペナルティが無限大に発散する必要がないようにすることで、古典的手法で生じる悪条件問題を回避する。
• 一次近似を用いて数学的計画問題における補完制約条件（MFCQ）を検証し、KKT収束解析を可能にする。
• MFCQが可能な点で成立する緩い仮定のもとで、非凸的かつ非滑らかな問題に対してもKKT点への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸的で非滑らかな最適化問題に、非線形に結合された制約がある場合、分解に基づく手法がKKT点への収束を達成できるか。
• RQ2 ペナルティ法をどのように改善すれば、悪条件問題を回避し、ペナルティパラメータを無限大に発散させる必要なく収束を保証できるか。
• RQ3 ブロック座標降下法とデュアル分解をどれほど効果的に組み合わせて、信号処理や無線通信分野における複雑な非凸的・非滑らかな問題を解けるか。
• RQ4 提案されたPDDアルゴリズムがKKT解に収束する条件は何か。また、実際の応用においてこれらの条件をどのように検証できるか。
• RQ5 PDDフレームワークは、MIMOリレービームフォーミングやSINR制約付きのパワー最小化といった実世界の問題に適用可能か。

主な発見

• PDDアルゴリズムは、連続的に微分可能な結合制約を伴う非凸的・非滑らかな最適化問題に対して、KKT点への収束が保証されている。
• ペナルティパラメータが無限大に発散する必要がなく、古典的手法で生じる悪条件問題を回避する。
• MFCQは、3つの主要な応用分野で確認された：ビームフォーミング設計（問題5）、MIMOリレービームフォーミング（問題11）、行列因子分解（問題31）。これにより収束の有効性が保証される。
• 問題（5）では、等式制約の勾配が線形独立であり、かつ可能な降下方向が存在するため、任意の実行可能点でMFCQが成立する。
• 問題（11）では、V ≠ 0 かつ F ≠ 0 または X ≠ 0 である任意の非ゼロ実行可能点でMFCQが成立し、明示的な降下方向の構成により確認された。
• 問題（31）では、行列構造に基づいて降下方向を構成し、一次近似と実行可能性制約を用いてMFCQが任意の実行可能点で成立することが確認された。