[論文レビュー] An Efficient Proximal-Gradient Method for Single and Multi-task Regression with Structured Sparsity

Xi Chen, Qihang Lin+4 more|arXiv (Cornell University)|Jun 30, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用数 20

ひとこと要約

本稿では、重複するグループ構造を持つスパース性を伴う単一およびマルチタスク回帰のための効率的なプロキシマル・グラディエント法を提案する。非滑らかな構造的スパース性誘導ノルムの滑らか近似を活用することで、SOCPベースの手法と比較して収束が速く、スケーラビリティに優れている。この手法は大規模な遺伝子関連データセットにおいて最先端の性能を達成する。

ABSTRACT

We consider the optimization problem of learning regression models with a mixed-norm penalty that is defined over overlapping groups to achieve structured sparsity. It has been previously shown that such penalty can encode prior knowledge on the input or output structure to learn an structuredsparsity pattern in the regression parameters. However, because of the non-separability of the parameters of the overlapping groups, developing an efficient optimization method has remained a challenge. An existing method casts this problem as a second-order cone programming (SOCP) and solves it by interior-point methods. However, this approach is computationally expensive even for problems of moderate size. In this paper, we propose an efficient proximal-gradientmethod that achieves a faster convergence rate and is much more efficient and scalable than solving the SOCP formulation. Our method exploits the structure of the non-smooth structured-sparsity-inducing norm, introduces its smooth approximation, and solves this approximation function instead of optimizing the original objective function directly. We demonstrate the efficiency and scalability of our method on simulated datasets and show that our method can be successfully applied to a very large-scale dataset in genetic association analysis.

研究の動機と目的

• 重複するグループを伴う混合ノルムペナルティを最適化するための従来のSOCPベース手法の計算非効率性に対処すること。
• 単一およびマルチタスク回帰における構造的スパース性のためのスケーラブルで高速な最適化手法を開発すること。
• 非滑らかで重複するグループノルムの構造を活用して、効率的な最適化を可能にすること。
• 特に遺伝子関連解析において、大規模な実世界データセットにおける手法の有効性を示すこと。

提案手法

• 非滑らかな構造的スパース性誘導ノルムの滑らか近似を導入することで、効率的な最適化を可能にする。
• 非滑らか性を反復的更新によって処理するプロキシマル・グラディエントフレームワークを用いて最適化問題を定式化する。
• 重複するグループ構造を活用して、計算的に効率的なプロキシマル演算子を設計する。
• SOCP定式化で用いられる内点法よりも収束が速いようにアルゴリズムを設計する。
• 元の目的関数の滑らか近似を直接最適化することで、SOCPの高い計算コストを回避する。
• この手法はスケーラブルであり、遺伝子関連研究におけるような非常に大規模なデータセットにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 滑らか近似を用いたプロキシマル・グラディエント法は、構造的スパース性問題においてSOCPベース手法よりも収束速度とスケーラビリティで優れているか？
• RQ2 重複するグループノルムの滑らか近似は、構造的スパース性パターンをどれほど効果的に保持できるか？
• RQ3 提案手法は、高次元特徴を伴う大規模な遺伝子関連データセットに効率的にスケーリングできるか？
• RQ4 既存のSOCPベース手法と比較して、予測精度を維持または向上させることができるか？

主な発見

• 提案されたプロキシマル・グラディエント法は、SOCPベースの内点法と比較して著しく収束が速い。
• この手法は優れたスケーラビリティを示し、遺伝子関連解析におけるような非常に大規模なデータセットを処理できる。
• 構造的スパース性誘導ノルムの滑らか近似により、スパース構造を損なわずに効率的な最適化が可能になる。
• シミュレートされたデータセットにおける実験結果から、この手法が構造的スパース性パターンを効果的に回復できることを確認した。