[論文レビュー] Structured Sparse Regression via Greedy Hard-Thresholding

Prateek Jain, Nikhil Rao+1 more|arXiv (Cornell University)|Feb 19, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用数 13

ひとこと要約

本稿では、重複するグループを伴う構造的スパース回帰に対して、サブモジュラー最適化を用いてNP困難な射影を効率的なグリーディ近似に置き換えることで、貪欲な反復的ハードスレッショルド（IHT）法を提案する。この手法は、高い条件数（例：$κ \geq 100$）下でも強力な理論的保証を達成し、凸およびグリーディベースラインと比較して、桁違いの高速化を実現しながら、グループスパース信号の高速かつ高精度な回復を可能にする。

ABSTRACT

Several learning applications require solving high-dimensional regression problems where the relevant features belong to a small number of (overlapping) groups. For very large datasets and under standard sparsity constraints, hard thresholding methods have proven to be extremely efficient, but such methods require NP hard projections when dealing with overlapping groups. In this paper, we show that such NP-hard projections can not only be avoided by appealing to submodular optimization, but such methods come with strong theoretical guarantees even in the presence of poorly conditioned data (i.e. say when two features have correlation $\geq 0.99$), which existing analyses cannot handle. These methods exhibit an interesting computation-accuracy trade-off and can be extended to significantly harder problems such as sparse overlapping groups. Experiments on both real and synthetic data validate our claims and demonstrate that the proposed methods are orders of magnitude faster than other greedy and convex relaxation techniques for learning with group-structured sparsity.

研究の動機と目的

• 重複するグループを伴うグループスパース回帰に対する、従来の反復的ハードスレッショルド（IHT）手法の非効率性および理論的制限を解消すること。
• NP困難な射影を回避するため、サブモジュラー最適化を活用して効率的でグリーディな近似を実現すること。
• データ共分散行列の条件数（$\kappa$）が大きい場合でも、一般化された制限強凸性（RSC）／制限強滑らかさ（RSS）条件の下で収束保証を提供すること。
• スパースな重複グループおよび階層的グループ構造を含むより複雑なスパarsity構造への拡張を図ること。
• 近似射影が凸緩和法や他のグリーディ手法と比較して、速度と精度の両面で優位性を示すことを実証的に検証すること。

提案手法

• 重複するグループを伴う$k^*$-グループスパースベクトル集合へのNP困難な射影を、サブモジュラー関数最大化に基づくグリーディ射影ステップで近似する。
• 各反復で完全補正（FC）ステップを適用することで、解を改善し、収束性と精度を向上させる反復的ハードスレッショルドを実装する。
• 正確な射影から近似グリーディ射影へのスパース回帰保証の拡張を可能にする、新規な分析フレームワークを採用し、一般化されたRSC/RSS条件の下での収束を保証する。
• グループスパarsityと個別特徴スパarsityの両方を考慮した修正射影ルールを用いることで、スパース重複グループ（SoG）設定への一般化を実現する。
• ネストされたまたは重複する階層を持つグループ構造に対して、理論的保証と計算効率を維持したまま階層的拡張を導入する。
• ハードスレッショルドステップでデータ依存のしきい値ルールを採用し、残差低減への寄与度に基づいて特徴を選択する。

実験結果

リサーチクエスチョン

• RQ1 サブモジュラー最適化に基づくグリーディ射影は、重複するグループスパース回帰におけるIHTのNP困難な射影を置き換えつつ、理論的収束保証を維持できるか？
• RQ2 データ共分散行列の条件数が大きく（$\kappa \gg 1$）なる場合でも、提案手法のIHTは真のスパースベクトル $\bm{w}^*$ を一貫して回復できるか？
• RQ3 グリーディ射影を用いたIHTの性能は、凸緩和法（例：グループlasso）や他のグリーディ手法（例：GOMP, CoGEnT）と比較して、速度および精度の面で優れているか？
• RQ4 IHTフレームワークは、スパース重複グループや階層的グループ構造といったより複雑なスパarsity構造へ拡張可能か？
• RQ5 近似射影を用いる場合、IHTにおける計算効率と推定精度のトレードオフはどのようなものか？

主な発見

• 提案手法のIHTは、$\kappa$が任意に大きくても、$n = \Omega\left((s\log\frac{1}{\epsilon} + \kappa^{2}k^{*}\log M)\log\frac{1}{\epsilon}\right)$ 個のサンプルで $\bm{w}^*$ の $\epsilon$-近似を回復可能であり、これに対して従来手法は $\kappa \leq 3$ を要件としていた。
• ノイズあり設定では、$\|\hat{\bm{w}} - \bm{w}^*\| \leq 2\epsilon + \lambda \cdot \kappa \sqrt{\frac{s + \kappa^{2}k^{*}\log M}{n}}$ を保証し、$\kappa$ が大きくても一貫推定量となる。これに対して従来のIHT手法は同様の条件下で一貫性を失う。
• 条件数 $\kappa = 10$ の合成データにおいて、IHT-FCは0.1601秒で21.65%の再構成誤差を達成し、CoGEnT（23.53%誤差、0.1414秒）およびGOMP（25.01%誤差、0.2891秒）を上回り、CoGEnTの10倍の高速性を発揮した。
• 劣悪な条件数下（$\kappa = 200$）では、IHTは$n \sim 1500$の測定値で $\bm{w}^*$ の正確な回復を達成したが、GOMPは10回の実験中1回も $\bm{w}^*$ を回復できなかった。
• 乳癌腫瘍分類データセットにおいて、IHT-FCは比較されたすべての手法の中で最小の誤分類率を達成し、近似射影を用いていながらも競争力のある性能を示した。
• IHTは凸緩和法および他のグリーディ手法と比較して、桁違いの高速化を達成した。合成データではIHTが0.0400秒、FWが6.4538秒を要した。