[論文レビュー] Dual Extrapolation for Sparse Generalized Linear Models

Mathurin Massias, Samuel Vaiter+2 more|arXiv (Cornell University)|Jul 12, 2019

Sparse and Compressive Sensing Techniques参考文献 67被引用数 8

ひとこと要約

本稿では、近位勾配降下法やサイクリック座標降下法における符号同定後の双対反復のベクトル自己回帰（VAR）的挙動を活用して、スパース一般化線形モデル（GLM）のための二重外挿法を導入する。この手法は、最小限の計算コストでよりタイトな双対証明を構築することで、スクリーニングルールおよびワーキングセットアルゴリズムの高速化を実現し、lasso、ロジスティック回帰、マルチタスクlasso問題において、解法時間を顕著に短縮する。

ABSTRACT

Generalized Linear Models (GLM) form a wide class of regression and classification models, where prediction is a function of a linear combination of the input variables. For statistical inference in high dimension, sparsity inducing regularizations have proven to be useful while offering statistical guarantees. However, solving the resulting optimization problems can be challenging: even for popular iterative algorithms such as coordinate descent, one needs to loop over a large number of variables. To mitigate this, techniques known as screening rules and working sets diminish the size of the optimization problem at hand, either by progressively removing variables, or by solving a growing sequence of smaller problems. For both techniques, significant variables are identified thanks to convex duality arguments. In this paper, we show that the dual iterates of a GLM exhibit a Vector AutoRegressive (VAR) behavior after sign identification, when the primal problem is solved with proximal gradient descent or cyclic coordinate descent. Exploiting this regularity, one can construct dual points that offer tighter certificates of optimality, enhancing the performance of screening rules and helping to design competitive working set algorithms.

研究の動機と目的

• 標準的な双対反復構築の非効率性が、スクリーニングルールおよびワーキングセット手法の性能を制限する問題に対処すること。
• 最適性認証を改善する、原理的かつ低コストな、より速く収束する双対反復を生成する手法を開発すること。
• Celerの二重外挿フレームワークをlassoから、ロジスティック回帰やマルチタスクlassoを含む広範なGLMクラスへ一般化すること。
• 二重外挿法が、計算コストを増加させることなく、Gap Safeスクリーニングおよびワーキングセットポリシーの両方を向上させることを実証すること。

提案手法

• 近位勾配降下法またはサイクリック座標降下法における符号同定後の双対反復のベクトル自己回帰（VAR）的挙動を活用する。
• Scieurら（2016）にインspされた外挿手順を用いて、プライマル反復から改善された双対点を構築する。
• 二重外挿法を用いて、双対ギャップ推定値をタイトにすることで、非活性変数の早期かつ信頼性の高い同定を可能にする。
• 改善された双対点をGap Safeルールおよびワーキングセットアルゴリズムに統合し、収束の加速を図る。
• 双対外挿法のシーケンスを初期化するための座標降下パスを導入することで、Celerフレームワークをprox-ニュートンソルバに適応する。
• 凸双対性を用いて、標準的な双対反復近似よりもタイトな最適性証明を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースGLMソルバにおける双対反復は、符号同定後にベクトル自己回帰（VAR）過程としてモデル化可能か？
• RQ2 二重外挿法は、スパースGLMにおけるスクリーニングルールおよびワーキングセット手法の性能を顕著に向上させるか？
• RQ3 二重外挿法フレームワークは、lassoを越えて、ロジスティック回帰やマルチタスクlassoなどの他のGLMへ一般化可能か？
• RQ4 二重外挿法の計算コストは何か？収束および最適性認証の向上を伴っても、依然として低コストのままであるか？
• RQ5 二重外挿法は2次ソルバ（例：Prox-Newton）とどのように相互作用するか？効率性を維持するためには何らかの修正が必要か？

主な発見

• 近位勾配降下法およびサイクリック座標降下法における双対反復は、符号同定後に安定したベクトル自己回帰（VAR）的挙動を示し、外挿が可能である。
• ファイナンスデータセットにおけるlasso問題において、高精度な設定下で、scikit-learnのvanilla座標降下法に比べ、二重外挿法は計算時間を最大30倍短縮した。
• news20データセットにおけるロジスティック回帰において、Gap Safeルールと併用した二重外挿法は、非外挿法に比べてパス計算時間を最大5倍短縮した。
• MEGデータにおけるマルチタスクlassoにおいて、二重外挿法で強化されたワーキングセットポリシーは、Gap Safeルールを上回り、より少ない反復回数で収束した。
• Prox-Newtonソルバと組み合わせた場合、二重外挿法は双対シーケンスを初期化するための追加の座標降下パスを必要とし、一部の利点が相殺されるが、依然として全体的な効率性が向上した。
• 収束保証を維持しつつ、よりタイトな双対ギャップ推定値を提供することで、早期終了およびより積極的な変数スクリーニングが可能になった。