[論文レビュー] Linearized Alternating Direction Method with Parallel Splitting and Adaptive Penalty for Separable Convex Programs in Machine Learning

Zhouchen Lin, Risheng Liu+1 more|arXiv (Cornell University)|Oct 18, 2013

Sparse and Compressive Sensing Techniques被引用数 53

ひとこと要約

本稿では、機械学習における多ブロック分離凸計画問題を解くために、並列スプリットと適応的ペナルティを備えた線形化された交替方向汎用法（LADMPSAP）を提案する。本手法は、有界でないペナルティパラメータを許容し、グローバル収束の必要十分条件を証明するというより強い収束保証を達成するとともに、スパースおよび低ランク問題に対して閉形式解を可能にし、効率的な並列処理をサポートする。

ABSTRACT

Many problems in machine learning and other fields can be (re)for-mulated as linearly constrained separable convex programs. In most of the cases, there are multiple blocks of variables. However, the traditional alternating direction method (ADM) and its linearized version (LADM, obtained by linearizing the quadratic penalty term) are for the two-block case and cannot be naively generalized to solve the multi-block case. So there is great demand on extending the ADM based methods for the multi-block case. In this paper, we propose LADM with parallel splitting and adaptive penalty (LADMPSAP) to solve multi-block separable convex programs efficiently. When all the component objective functions have bounded subgradients, we obtain convergence results that are stronger than those of ADM and LADM, e.g., allowing the penalty parameter to be unbounded and proving the sufficient and necessary conditions} for global convergence. We further propose a simple optimality measure and reveal the convergence rate of LADMPSAP in an ergodic sense. For programs with extra convex set constraints, with refined parameter estimation we devise a practical version of LADMPSAP for faster convergence. Finally, we generalize LADMPSAP to handle programs with more difficult objective functions by linearizing part of the objective function as well. LADMPSAP is particularly suitable for sparse representation and low-rank recovery problems because its subproblems have closed form solutions and the sparsity and low-rankness of the iterates can be preserved during the iteration. It is also highly parallelizable and hence fits for parallel or distributed computing. Numerical experiments testify to the advantages of LADMPSAP in speed and numerical accuracy.

研究の動機と目的

• 従来の交替方向法（ADM）が多ブロック分離凸計画問題に拡張された場合に生じる収束保証の欠如を解決すること。
• 複数の変数ブロックを含む問題においてもグローバル収束性と高速収束率を維持する手法を開発すること。
• スパース表現や低ランク回復といった大規模機械学習問題において、閉形式の部分問題と並列処理をサポートすることで、効率的な計算を可能にすること。
• 実世界の応用において収束を高速化するため、適応的ペナルティパラメータ更新を備えた実用的なアルゴリズムを提供すること。
• 目的関数の一部を線形化することにより、非分離的または制約付きの目的関数に対しても一般化可能な手法を構築すること。

提案手法

• すべての変数ブロックを同時に更新する、並列スプリットを備えた線形化交替方向法（LADMPSAP）を提案し、逐次的依存を回避する。
• 収束の進行に応じて動的に調整される適応的ペナルティパラメータ戦略を導入し、収束を保証しながら無限大に成長する可能性を許容する。
• 線形化された増大ラグランジュ形式を用いることで部分問題を単純化し、核ノルムおよびℓ₁ノルム項に対して閉形式解を可能にする。
• 部分問題の更新を安定化させ、収束特性を向上させるために、適応的スケーリングを施したプロキシマル項を組み込む。
• 収束をエゴイスト的（ergodic）にモニタリングするための新規な最適性基準（プライマル残差と双対ギャップに基づく）を導入する。
• 凸集合制約を含む問題に対して、収束を加速するための精密化されたパラメータ推定を導入する。

実験結果

リサーチクエスチョン

• RQ1 従来のADMの変種よりも強い収束保証を備えた線形化交替方向法が、多ブロック分離凸計画問題に拡張可能か？
• RQ2 ペナルティパラメータを無限大に成長させることで、グローバル収束を損なわずに収束速度が向上するか？
• RQ3 反復処理中にスパarsityおよび低ランク構造を保持できるか？　これにより、スパースおよび低ランク回復問題に適した手法となるか？
• RQ4 固定またはヒューリスティックなペナルティ更新と比較して、適応的ペナルティ戦略は収束速度およびロバストネスにおいて優れているか？
• RQ5 目的関数が非分離的または制約付きであっても、収束性と効率性を維持したまま一般化可能か？

主な発見

• LADMPSAPは、ADM や LADM よりも弱い仮定の下でグローバル収束を確立し、収束の必要十分条件を両方証明する。
• 本手法はペナルティパラメータを無限大に成長させても収束を保証することができ、従来手法に比して顕著な改善を示す。
• 収束はエゴイスト的（ergodic）に証明され、収束速度はO(1/K)（Kは反復回数）である。
• 凸集合制約を含む問題では、精密化されたパラメータ推定により実用的状況でより速い収束が達成される。
• スパース表現および低ランク回復タスクにおける数値実験では、高い数値的精度と優れた速度を達成する。
• 目的関数が核ノルムまたはℓ₁ノルムである場合、部分問題に閉形式解が存在し、効率的かつスケーラブルな計算が可能になる。