[論文レビュー] Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming

Yangyang Xu|arXiv (Cornell University)|Aug 13, 2016

Sparse and Compressive Sensing Techniques参考文献 45被引用数 3

ひとこと要約

本稿では、非分離な二次項を伴う線形制約付き凸最適化問題に対して、ハイブリッド・ヤコビ型およびガウス・ザイデル型ブロック座標更新法を提案する。前回の反復のアフィン結合における増大ラグランジアンの近似と、最適な混合行列を特定するための半定値計画法（SDP）を用いることで、グローバル収束性を保ちつつ、サブ線形収束速度を達成し、実際には純ヤコビ型および確率的手法を上回る性能を発揮する。

ABSTRACT

Recent years have witnessed the rapid development of block coordinate update (BCU) methods, which are particularly suitable for problems involving large-sized data and/or variables. In optimization, BCU first appears as the coordinate descent method that works well for smooth problems or those with separable nonsmooth terms and/or separable constraints. As nonseparable constraints exist, BCU can be applied under primal-dual settings. In the literature, it has been shown that for weakly convex problems with nonseparable linear constraint, BCU with fully Gauss-Seidel updating rule may fail to converge and that with fully Jacobian rule can converge sublinearly. However, empirically the method with Jacobian update is usually slower than that with Gauss-Seidel rule. To maintain their advantages, we propose a hybrid Jacobian and Gauss-Seidel BCU method for solving linearly constrained multi-block structured convex programming, where the objective may have a nonseparable quadratic term and separable nonsmooth terms. At each primal block variable update, the method approximates the augmented Lagrangian function at an affine combination of the previous two iterates, and the affinely mixing matrix with desired nice properties can be chosen through solving a semidefinite programming. We show that the hybrid method enjoys the theoretical convergence guarantee as Jacobian BCU. In addition, we numerically demonstrate that the method can perform as well as Gauss-Seidel method and better than a recently proposed randomized primal-dual BCU method.

研究の動機と目的

• 非分離な二次項を伴う大規模な線形制約付き多ブロック凸最適化問題を解くための信頼性が高く効率的なアルゴリズムの不足に対処すること。
• 純ヤコビ則（収束が遅い）およびガウス・ザイデル則（収束保証がない可能性あり）のブロック座標更新における限界を克服すること。
• ヤコビ則の収束保証を維持しつつ、ガウス・ザイデル則の実用的効率性を達成するハイブリッド手法を開発すること。
• 収束性を保証するとともに性能向上を図るための混合行列を体系的に構築する手法を提供すること。
• 非負線形制約付き二次計画や多クラスサポートベクターマシンなどの実世界問題への有効性を実証すること。

提案手法

• 非分離な二次項と分離可能な非滑らか関数を含む多ブロック凸計画問題を、線形等式制約のもとで定式化する。
• 増大ラグランジアン関数に対してブロック座標更新戦略を適用し、他のブロックを固定した上で1つのブロックだけを逐次更新する。
• 各更新ステップにおいて、現在の反復点と過去の反復点のアフィン結合における増大ラグランジアンを、混合行列Wを用いて近似する。
• 望ましい収束特性と安定性を確保するため、半定値計画法（SDP）を解いて混合行列Wを構築する。
• 特に非滑らか成分に対しては、プロキシマル線形化技術を用いて部分問題の解法を簡素化する。
• 各プライマル更新の後、標準的な増大ラグランジュ法のステップに従い、双対変数（ラグランジュ乗数）を更新する。

実験結果

リサーチクエスチョン

• RQ1 ヤコビ則とガウス・ザイデル則を統合したハイブリッドブロック座標法は、グローバル収束性と高速な実用的性能を両立できるか？
• RQ2 収束性を保証しつつ、速度と安定性のトレードオフを調整できるように、混合行列をどのように構築できるか？
• RQ3 提案手法は、既存の確率的および完全ヤコビ型ブロック座標法と比較して、収束速度および妥当性の面で優れているか？
• RQ4 多クラスサポートベクターマシンや非負二次計画問題のような大規模問題に対しても、本手法は効果的に適用可能か？
• RQ5 初期の混合パラメータと適応的ステップサイズが収束行動に与える影響は何か？

主な発見

• ハイブリッド手法は、純ヤコビ則と同等の理論的保証に従い、グローバル収束性を示し、サブ線形収束速度を達成する。
• 数値実験の結果、ハイブリッド手法は実際にはガウス・ザイデル法と同等の性能を示し、確率的プライマル・デュアルBCU法を著しく上回る。
• d¹ = 0.5 の適応的パrameter選択を用いた手法は、d¹ = 0.1 の手法と比較して収束が速く、妥当性の維持も良好である。
• 半定値計画法により計算された混合行列Wは、安定的かつ効率的な反復を実現し、Wの要素が過去の反復点間の最適な重み付けを反映している。
• 多クラスSVM問題において、JaGS-PC（ハイブリッド手法）は、特に初期反復において、Jacobi-PCと比較してより小さい目的関数ギャップと妥当性違反を達成する。
• ハイブリッド手法の実行時間にはWのSDP解法コストが含まれるが、大規模な設定ではそのオーバーヘッドを上回る全体的な性能向上が得られる。