[論文レビュー] A path algorithm for the Fused Lasso Signal Approximator

Hölger Hoefling|ArXiv.org|Oct 3, 2009

Control Systems and Identification参考文献 2被引用数 10

ひとこと要約

本稿では、Fused Lasso Signal Approximator (FLSA) のための高速パスアルゴリズムを提案する。この手法は、解のパスの区分線形性を活用することで、正則化パラメータ $λ_1$ と $λ_2$ 全ての値に対して効率的に解を計算する。CVX などの凸最適化ソルバーよりも著しく高速であり、200×200 の画像では最大1000倍の高速化が達成され、高い精度を維持する。また、フルランクの設計行列を用いた一般化されたFused Lassoへも拡張可能である。

ABSTRACT

The Lasso is a very well known penalized regression model, which adds an $L_{1}$ penalty with parameter $λ_{1}$ on the coefficients to the squared error loss function. The Fused Lasso extends this model by also putting an $L_{1}$ penalty with parameter $λ_{2}$ on the difference of neighboring coefficients, assuming there is a natural ordering. In this paper, we develop a fast path algorithm for solving the Fused Lasso Signal Approximator that computes the solutions for all values of $λ_1$ and $λ_2$. In the supplement, we also give an algorithm for the general Fused Lasso for the case with predictor matrix $\bX \in \mathds{R}^{n imes p}$ with $ ext{rank}(\bX)=p$.

研究の動機と目的

• 正則化パラメータ $λ_1$ と $λ_2$ 全ての値に対して解を効率的に計算できる、Fused Lasso Signal Approximator (FLSA) のためのパスアルゴリズムを開発すること。
• FLSA 問題に対して、標準的な凸最適化ソルバー（例：CVX）と比較して、計算効率を著しく向上させること。
• 予測子行列 $$\mathbf{X} \in \mathbb{R}^{n \times p}$$ および $\text{rank}(\mathbf{X}) = p$ を満たす一般化Fused Lasso モデルへのパスアルゴリズムの拡張を図ること。
• 誤差の制御された近似パス計算を用いることで、大幅な高速化を達成しながらも、高い解の精度を維持すること。

提案手法

• Fused Lasso 解のパスが区分線形であるという性質を活用し、$λ_1$ と $λ_2$ 全ての値に対して解を効率的に計算する。
• 係数と隣接係数間の差分のアクティブセットを特定・更新するための成分別アクティブセット戦略を用いる。
• 各新しいパrameter値での解の初期化にウォームスタート戦略を適用し、収束を加速する。
• 1セグメントあたりのステップ数を制御するパrameter $K$ を導入した近似パスアルゴリズムを提案し、精度と速度のトレードオフを実現する。
• 1次元 FLSA および一般化Fused Lassoの両方の設定にパスアルゴリズムを適用し、フルランク条件の下で正しさの理論的裏付けを提供する。
• 正確な解（CVXによる計算結果）との比較評価に、スレートノルムおよびRMSDを用いる。

実験結果

リサーチクエスチョン

• RQ1 Fused Lasso Signal Approximator に対して、$λ_1$ と $λ_2$ 全ての値の解を効率的に計算できるパスアルゴリズムを開発可能か？
• RQ2 提案されたパスアルゴリズムは、FLSA 問題において、CVX などの標準的凸ソルバーよりも速度と精度で優れるか？
• RQ3 近似パrameter $K$ が、計算速度と解の精度のトレードオフに与える影響は何か？
• RQ4 フルランクの予測子行列を用いた一般化Fused Lasso モデルへ、パスアルゴリズムを拡張可能か？
• RQ5 CGH データ解析や画像再構成タスクなどの実世界データにおいて、アルゴリズムの性能はいかがなっているか？

主な発見

• 200×200 の画像再構成タスクにおいて、パスアルゴリズムは CVX より最大1000倍の高速化を達成し、$K=1$ 時に計算時間は6800秒から10秒に短縮された。
• 200×200 のケースにおいて、$K=1000$ のパスアルゴリズムは、正確な解と比較してスレートノルム誤差が0.0053に留まり、120秒で実行された。
• 成分別アルゴリズムはパスアルゴリズムに比べて著しく遅く、100×100 の画像ではパスアルゴリズム（$K=100$）は3.0秒で処理されたが、成分別法では21秒かかった。
• 200×200 画像において、$K=5000$ のパスアルゴリズムはスレートノルム誤差が0.0019にまで低下し、大規模なスケールでも高い精度を示した。
• 大きな $K$ 値に対しても、アルゴリズムは高い精度を維持しており、200×200 画像において $K \geq 100$ 時にRMSD誤差が0.005未満に保たれた。
• CGH データ解析や画像ノイズ除去などの実世界応用においても、スケーラビリティと実用性を備えており、速度と精度が求められる状況に適している。