[論文レビュー] Pathwise coordinate optimization

Jerome H. Friedman, Trevor Hastie+2 more|arXiv (Cornell University)|Aug 10, 2007

Statistical Methods and Inference被引用数 8

ひとこと要約

この論文は、特にlasso、fused lasso、および関連モデルにおける高次元統計の凸最適化問題を解くためのパスワイズ座標最適化アルゴリズムを導入する。1つのパラメータを繰り返し最小化することで、ソフトスリーピングを用いて最適化を実行する手法は、LARSと同等の性能を達成し、大規模な問題にもスケーラブルに適応する。非分離問題（fused lassoを含む）に対しても、一般化された降下法と融合戦略を用いることで、標準的な凸最適化ソルバーよりも著しく計算時間を短縮する。

ABSTRACT

We consider ``one-at-a-time'' coordinate-wise descent algorithms for a class of convex optimization problems. An algorithm of this kind has been proposed for the $L_1$-penalized regression (lasso) in the literature, but it seems to have been largely ignored. Indeed, it seems that coordinate-wise algorithms are not often used in convex optimization. We show that this algorithm is very competitive with the well-known LARS (or homotopy) procedure in large lasso problems, and that it can be applied to related methods such as the garotte and elastic net. It turns out that coordinate-wise descent does not work in the ``fused lasso,'' however, so we derive a generalized algorithm that yields the solution in much less time that a standard convex optimizer. Finally, we generalize the procedure to the two-dimensional fused lasso, and demonstrate its performance on some image smoothing problems.

研究の動機と目的

• 高次元統計モデリングにおける凸最適化問題のための座標単位の勾配降下法の開発と評価。
• 座標単位の最適化が、大規模なlasso問題において、LARSなどの既存手法と同等の性能を示すことを実証すること。
• 標準的な座標降下法が失敗する非分離問題（fused lassoを含む）にこの手法を拡張すること。
• 2次元fused lassoへのアプローチの一般化を通し、画像平滑化への応用を可能とすること。
• 正則化パrameterの範囲にわたり、効率的に解を計算できるスケーラブルなパスワイズアルゴリズムの提供。

提案手法

• アルゴリズムは、各パラメータを順番に処理し、部分残差のソフトスリーピングによる更新を通じて座標単位の最小化を実行する。計算的に効率的である。
• lassoの場合、各更新は1変数のソフトスリーピング問題を解く：βj ← S(∑i xij(yi − ∑k≠j xikβk), γ)，ここでSはソフトスリーピング作用素である。
• fused lassoの場合、隣接する変数が同じ値を持つグループ化を用いた一般化された降下戦略を採用し、分(piecewise-linear)最適化により融合パラメータを更新する。
• アルゴリズムはパスワイズ戦略を採用する：λ2 = 0 で初期化し、各画素を個別のグループとする。λ2を段階的に増加させ、降下と融合ステップを繰り返し、同じパラメータ値を持つグループを統合する。
• 融合は、隣接するグループGlとGl′を、平均と重みを統合した新しいグループGmに統合することで実行され、新しいグループ構造の下で基準が再最適化される。
• 完全なパスで追加のパラメータ更新が発生しなくなるまで繰り返され、これにより現在のλ2値に対する解に収束することが保証される。

実験結果

リサーチクエスチョン

• RQ1 大規模なlasso問題において、座標単位の降下法がLARSと同等の性能を発揮できるか。
• RQ2 標準的な座標降下法が失敗する非分離問題（fused lassoを含む）に対して、座標降下法をどのように適合できるか。
• RQ3 パスワイズ座標最適化フレームワークを2次元fused lassoに一般化できるか。
• RQ4 高次元設定において、この手法が標準的な凸最適化ソルバーよりもどの程度計算上の利点を有するか。
• RQ5 一般化されたアルゴリズムにおける融合戦略が、収束性を向上させ、計算時間を短縮するメカニズムは何か。

主な発見

• パスワイズ座標最適化アルゴリズムは、大規模なlasso問題においてLARS手順と同等の性能を達成し、多くの場合、著しく高速な計算時間を実現する。
• この手法は、ガロットやelastic netといった関連モデルに対しても効率的に適用可能であり、標準lassoを超えた応用性を拡張する。
• 非分離性のため標準的な座標降下法が失敗するfused lassoにおいて、グループ融合と分(piecewise-linear)最適化を用いた一般化アルゴリズムにより、標準的な凸最適化ソルバーよりもはるかに高速な解法が得られる。
• 2次元fused lasso問題では、同じ値を持つ隣接画素をグループ化することで、視覚的に整合性があり正確な再構成が可能となり、画像平滑化に成功する。
• 降下、融合、平滑化ステップを統合したパスワイズ戦略は、信頼性があり効率的な収束を実現し、1回の完全パスでパラメータの変更が発生しなくなった時点で収束が確認される。
• アルゴリズムのスケーラビリティと効率性は、遺伝子情報学や画像処理などの高次元問題に特に適している。