[論文レビュー] Structured Nonconvex and Nonsmooth Optimization: Algorithms and Iteration Complexity Analysis

Bo Jiang, Tianyi Lin+2 more|arXiv (Cornell University)|May 9, 2016

Sparse and Compressive Sensing Techniques参考文献 48被引用数 22

ひとこと要約

本稿は、ブロック変数およびアフィン制約を伴う構造的非凸・非滑らか最適化のための一次元アルゴリズムを提案し、プロキシマル ADMM 変種および一般化された条件勾配法を導入する。ε-停留性解を達成するための O(1/ε²) の反復複雑性バウンドを確立し、テンソルロバストPCAにおける数値的妥当性検証を通じて、ブロック座標降下法と比較して優れたグローバル収束性を示す。

ABSTRACT

Nonconvex and nonsmooth optimization problems are frequently encountered in much of statistics, business, science and engineering, but they are not yet widely recognized as a technology in the sense of scalability. A reason for this relatively low degree of popularity is the lack of a well developed system of theory and algorithms to support the applications, as is the case for its convex counterpart. This paper aims to take one step in the direction of disciplined nonconvex and nonsmooth optimization. In particular, we consider in this paper some constrained nonconvex optimization models in block decision variables, with or without coupled affine constraints. In the case of without coupled constraints, we show a sublinear rate of convergence to an $ε$-stationary solution in the form of variational inequality for a generalized conditional gradient method, where the convergence rate is shown to be dependent on the Hölderian continuity of the gradient of the smooth part of the objective. For the model with coupled affine constraints, we introduce corresponding $ε$-stationarity conditions, and apply two proximal-type variants of the ADMM to solve such a model, assuming the proximal ADMM updates can be implemented for all the block variables except for the last block, for which either a gradient step or a majorization-minimization step is implemented. We show an iteration complexity bound of $O(1/ε^2)$ to reach an $ε$-stationary solution for both algorithms. Moreover, we show that the same iteration complexity of a proximal BCD method follows immediately. Numerical results are provided to illustrate the efficacy of the proposed algorithms for tensor robust PCA.

研究の動機と目的

• 実用的応用におけるスケーラブルな非凸的・非滑らか最適化のための体系的理論およびアルゴリズムフレームワークの欠如に対処すること。
• ブロック変数およびアフィン結合制約を伴う構造的非凸最適化問題に対する、証明可能収束速度を有する一次元アルゴリズムを開発すること。
• ホルダー連続勾配連続性およびプロキシマル更新仮定の下で、ε-停留性解を達成するための反復複雑性バウンドを確立すること。
• テンソルロバストPCAにおける提案アルゴリズムの有効性を検証し、収束行動およびグローバル解の質を比較すること。

提案手法

• 結合制約のない非凸問題に対する一般化された条件勾配法を導入し、滑らか部分のホルダー連続勾配連続性の下で、ε-停留性解への非線形収束を達成する。
• 結合アフィン制約を伴う問題に対する2種類のプロキシマル型 ADMM 変種を提案し、最後のブロックのみが勾配またはマジョライゼーション・ミニマライゼーションステップを用いる。
• プロキシマルブロック座標降下法（BCD）を適用し、ADMM 変種と同一の O(1/ε²) の反復複雑性を示す。
• 非凸性および非滑らか性の下で収束解析を可能にするために、アフィン制約付き非凸問題のε-停留性条件を定義する。
• ADMM において最後のブロック変数を除くすべての変数に対してプロキシマル更新を適用し、実装可能性を保ちつつ収束保証を維持する。
• 滑らかで非凸な f および非滑らかで非凸な r_i を持つ構造的最適化モデルを定義し、ブロックへの凸集合制約およびアフィン結合制約を含む。

実験結果

リサーチクエスチョン

• RQ1 結合アフィン制約を伴う構造的非凸的・非滑らか最適化問題を解くための一次元法の反復複雑性は何か？
• RQ2 最後のブロック変数のみが勾配またはマジョライゼーション・ミニマライゼーションステップを用いる場合、プロキシマル ADMM 変種はε-停留性解への収束を達成できるか？
• RQ3 一般化された条件勾配法の収束速度は、滑らか部分の勾配のホルダー連続性にどのように依存するか？
• RQ4 テンソルロバストPCAにおいて、提案アルゴリズムは収束速度およびグローバル解の質の観点で実際の性能においてどのように比較されるか？
• RQ5 プロキシマル BCD 法は、同一の仮定の下でプロキシマル ADMM 変種と同一の反復複雑性を有するか？

主な発見

• 一般化された条件勾配法は、目的関数の滑らか部分の勾配のホルダー連続性に依存する非線形収束レートをε-停留性解へ達成する。
• 2つのプロキシマル ADMM 変種は、すべてのブロック（最後のブロックを除く）に対してプロキシマル更新が実装可能であるという仮定の下で、ε-停留性解に到達するための O(1/ε²) の反復複雑性バウンドを達成する。
• プロキシマル BCD 法に対しても、ADMM 分析から直接導かれる同一の O(1/ε²) の反復複雑性が確立される。
• テンソルロバストPCAにおける数値結果から、BCD はしばしば局所解に収束するが、ADMM および BCD 変種はより優れたグローバル解の質を達成することが示された。
• テンソル因子分解における基底の大きさを R = R_CP + ⌈0.2*R_CP⌉ に拡大した場合、相対誤差が改善され、収束が速くなることが示され、プロキシマル BCD はしばしば ADMM 変種よりも少ない反復回数で収束した。
• すべてのテストケースにおいて、相対誤差 < 0.01 となる解の数（Num）は、標準的 BCD よりも ADMM および BCD 変種で高かったため、より優れたグローバル収束性が示された。