[論文レビュー] Structured Sparsity via Alternating Direction Methods

Zhiwei Qin, Donald Goldfarb|arXiv (Cornell University)|May 4, 2011

Sparse and Compressive Sensing Techniques参考文献 1被引用数 34

ひとこと要約

本稿では、重複するグループlasso正則化項（$l_1/l_2$および$l_1/l_\infty$）を伴う構造的スパarsity問題を解くために、交互方向法を用いた統一された増大ラグランジュフレームワークを提案する。APLM-SおよびFISTA-pアルゴリズムを導入し、それぞれ$O(1/k)$および$O(1/k^2)$の収束速度を理論的に保証した。ベンチマークデータセットにおいて、ラインサーチを必要とせず、FISTAおよびADALよりも高速に収束する。

ABSTRACT

We consider a class of sparse learning problems in high dimensional feature space regularized by a structured sparsity-inducing norm which incorporates prior knowledge of the group structure of the features. Such problems often pose a considerable challenge to optimization algorithms due to the non-smoothness and non-separability of the regularization term. In this paper, we focus on two commonly adopted sparsity-inducing regularization terms, the overlapping Group Lasso penalty $l_1/l_2$-norm and the $l_1/l_\infty$-norm. We propose a unified framework based on the augmented Lagrangian method, under which problems with both types of regularization and their variants can be efficiently solved. As the core building-block of this framework, we develop new algorithms using an alternating partial-linearization/splitting technique, and we prove that the accelerated versions of these algorithms require $O(\frac{1}{\sqrtε})$ iterations to obtain an $ε$-optimal solution. To demonstrate the efficiency and relevance of our algorithms, we test them on a collection of data sets and apply them to two real-world problems to compare the relative merits of the two norms.

研究の動機と目的

• 滑らかでない、分離不可能な構造的スパarsity誘導正則化項を伴う高次元学習問題の最適化という課題に対処すること。
• 増大ラグランジュ法を用いて、$l_1/l_2$および$l_1/l_\infty$グループスパarsity問題を統一的に解くフレームワークを構築すること。
• ラインサーチを回避し、高速な収束速度を達成する、効率的でチューニングが容易なアルゴリズムを設計すること。
• 提案されたフレームワークを用いて、実世界のデータセットにおける$l_1/l_2$および$l_1/l_\infty$正則化の実験的性能を比較すること。

提案手法

• 非滑らかな正則化と滑らかな損失関数を分離するために変数分割を用いて、構造的スパarsity問題を制約付き最適化問題として定式化する。
• 等価な制約付き問題を解くために増大ラグランジュ法を適用し、閉形式解または効率的な解法が得られる部分問題に分解可能であることを保証する。
• 部分線形化とスキップ機能を組み合わせたAPLM-S（スキップおよび部分分割を施した交互線形化法）を導入し、$l_1/l_2$および$l_1/l_\infty$正則化に対して$O(1/k)$の収束速度を達成する。
• 部分線形化を組み込んだ加速プロキシマル法FISTA-pを提案し、両正則化タイプに対して$O(1/k^2)$の収束速度を達成する。
• 増大ラグランジュフレームワーク内で動的ペナルティパラメータ更新戦略を採用し、収束速度の向上を図る。
• 大規模な設定において部分問題を効率的に解くために、前処理付き共役勾配法（PCG）を用いる。

実験結果

リサーチクエスチョン

• RQ1 増大ラグランジュ法を用いて、$l_1/l_2$および$l_1/l_\infty$の両方の構造的スパarsity問題を効率的に解く統一フレームワークを開発できるか？
• RQ2 部分線形化と分割を用いた新規アルゴリズムが、これらの構造的スパarsity問題に対して達成可能な収束速度は何か？
• RQ3 合成および実世界のデータセットにおいて、提案されたAPLM-SおよびFISTA-pアルゴリズムは、FISTA、ADAL、ProxFlowに比べて速度と精度で優れているか？
• RQ4 画像ノイズ除去や遺伝子選択といった実世界の応用において、$l_1/l_2$と$l_1/l_\infty$正則化の相対的性能はいかがなっているか？
• RQ5 提案されたアルゴリズムは、各反復におけるラインサーチや目的関数評価を必要とせずに、高速な収束を達成できるか？

主な発見

• FISTA-pアルゴリズムは$O(1/k^2)$の収束速度を達成し、APLM-Sおよび標準FISTAの$O(1/k)$の収束速度よりも顕著に高速である。
• 5,000次元の特徴を持つDCT合成データセット（$l_1/l_2$正則化）において、FISTA-pは1.83秒で解に到達した。FISTA（3.02秒）およびProxFlow（1.97秒）を上回るCPU時間性能を示した。
• 30,000次元の特徴を持つ$l_1/l_\infty$正則化DCTデータセットにおいて、FISTA-pは8.95秒で問題を解いた。一方、FISTAは2.24e+002秒、ADALは1.12e+002秒を要した。
• 乳癌データセット（$l_1/l_2$正則化）において、FISTA-pは6.86秒で最適な目的関数値2.9331e+003に到達した。FISTA（5.11e+001秒）およびProxGrad（7.76e+002秒）を上回った。
• APLM-SおよびFISTA-pを用いた提案フレームワークは、最大30,000次元の特徴を有する大規模問題においても、優れたスケーラビリティとロバストネスを示した。
• アルゴリズムはラインサーチを一切必要とせず、全テストデータセットで安定した性能を維持した。これにより、実用性とチューニングのしやすさが裏付けられた。