[論文レビュー] Dykstra's Algorithm, ADMM, and Coordinate Descent: Connections, Insights, and Extensions

Ryan J. Tibshirani|arXiv (Cornell University)|May 12, 2017

Sparse and Compressive Sensing Techniques参考文献 41被引用数 8

ひとこと要約

本稿は、正則化回帰におけるブロック座標降下法と、双対問題に適用されたDykstraのアルゴリズムとの間で、罰則関数が半ノルムである場合に正確な同値性を確立する。さらに、2セットのケースにおけるADMMとDykstraの手法の関連を示し、Dykstraのアルゴリズムの収束理論を活用して、lassoにおける座標降下法が、設計行列の構造にかかわらず漸近的に線形収束速度を示すことを証明する。本稿では、DykstraとADMMに基づく2つの並列版座標降下法を導入し、二次的でない損失関数への拡張も行う。

ABSTRACT

We study connections between Dykstra's algorithm for projecting onto an intersection of convex sets, the augmented Lagrangian method of multipliers or ADMM, and block coordinate descent. We prove that coordinate descent for a regularized regression problem, in which the (separable) penalty functions are seminorms, is exactly equivalent to Dykstra's algorithm applied to the dual problem. ADMM on the dual problem is also seen to be equivalent, in the special case of two sets, with one being a linear subspace. These connections, aside from being interesting in their own right, suggest new ways of analyzing and extending coordinate descent. For example, from existing convergence theory on Dykstra's algorithm over polyhedra, we discern that coordinate descent for the lasso problem converges at an (asymptotically) linear rate. We also develop two parallel versions of coordinate descent, based on the Dykstra and ADMM connections.

研究の動機と目的

• 半ノルム罰則を伴う正則化回帰におけるDykstraのアルゴリズムとブロック座標降下法との間の長年にわたり知られていたが、十分に評価されていなかった同値性を明確化し、形式化すること。
• この同値性を、特に1つの集合が線形部分空間である2セットのケースにおいて、拡張ラグランジュ法（ADMM）にまで拡張すること。
• Dykstraのアルゴリズムの既存の収束理論を活用し、特にlasso問題における座標降下法の収束レートを新たなレートとして確立すること。
• DykstraのアルゴリズムとADMMに基づく、並列可能である新しい座標降下法のバージョンを開発し、二次的および非二次的損失関数の両方に適用可能とする。
• 標準的なlassoから、非ユークリッド的損失関数を伴う分離可能な正則化問題へと、この同値性フレームワークを一般化すること。

提案手法

• ブロック座標降下法が、半ノルム罰則を伴う正則化回帰問題（2）の双対問題に対して適用される場合、特定の双対写像（半ノルム罰則を含む）のもとで、元の最良近似問題（1）に対するDykstraのアルゴリズムと数学的に同値であることを証明する。
• 双対問題（1）に対してADMMを適用し、2つの集合のうち1つが線形部分空間である場合、Dykstraのアルゴリズムと同値であることを示し、この設定においてADMMとDykstraの手法との直接的な関連を確立する。
• 双対問題を再定式化し、ブロック間の同時更新を可能にするスケーリングを施すことにより、Dykstraのアルゴリズムに基づく並列座標降下法を導出する。
• ADMMを用いた第二の並列座標降下法のバージョンを開発し、$u_0$-更新が非二次的最小化問題を含む一方で、ブロック更新は依然として$h_i$-正則化され、分離可能であることを保証する。
• 非二次的損失関数への拡張のため、双対問題を共役関数の観点から表現し、DykstraおよびADMMに基づく並列CD法の等価な更新式を導出する。
• 損失関数が分離可能かつ微分可能である場合、ADMMに基づく並列CD法における非二次的$u_0$-更新を、バイセクション探索を用いて効率的に解く。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標降下法による正則化回帰と、双対問題に適用されたDykstraのアルゴリズムとの間に正確な同値性は存在するか？
• RQ2 ADMMが双対問題に適用された場合、どのような条件下でDykstraのアルゴリズムに還元されるか？
• RQ3 Dykstraのアルゴリズムの収束理論を用いて、lasso問題における座標降下法の収束レートを導出できるか？
• RQ4 DykstraのアルゴリズムとADMMに基づく並列版座標降下法を構築でき、収束を保証できるか？
• RQ5 Dykstraのアルゴリズムと座標降下法の同値性は、非二次的損失関数へと拡張可能か？

主な発見

• lasso問題における座標降下法は、設計行列$X$の次元や条件数にかかわらず、漸近的に線形収束速度を示す。
• 収束速度定数の2通りの明示的表現が導出され、予測変数間の相関が収束速度に与える影響が明らかになった。
• Dykstraのアルゴリズムに基づく並列座標降下法が提案され、ブロック間の同時更新が可能であり、グローバル収束が保証された。
• ADMMに基づく第二の並列座標降下法のバージョンが開発され、1イテレーションあたり1回の非二次的最小化を伴うが、損失関数が分離可能であれば、効率的な単変数部分問題が得られる。
• 非二次的損失関数では、DykstraベースとADMMベースの並列CD法は、$u_0$-更新における正則化構造の違いにより、もはや同値ではなくなる。
• 損失関数が分離可能かつ微分可能である場合、ADMMベースの方法における$u_0$-更新はバイセクション探索により効率的に解くことができ、大規模問題へのスケーラビリティが確保される。