[論文レビュー] Dual Extrapolation for Faster Lasso Solvers

Mathurin Massias, Alexandre Gramfort+1 more|arXiv (Cornell University)|Feb 21, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用数 1

ひとこと要約

本稿では、Lassoソルバーの高速化を図るためのデュアル補外技術を導入している。この手法は、最適化中に生成されるデュアル反復列から改善されたデュアル点を生成することで、デュアルギャップ推定を向上させ、Gap Safeスクリーニングルールをより積極的に適用可能にする。その結果、最先端の手法と比較して、Lasso問題における収束速度と時間性能が向上する。

ABSTRACT

Convex sparsity-inducing regularizations are ubiquitous in high-dimension machine learning, but their non-differentiability requires the use of iterative solvers. To accelerate such solvers, state-of-the-art approaches consist in reducing the size of the optimization problem at hand. In the context of regression, this can be achieved either by discarding irrelevant features (screening techniques) or by prioritizing features likely to be included in the support of the solution (working set techniques). Duality comes into play at several steps in these techniques. Here, we propose an extrapolation technique starting from a sequence of iterates in the dual that leads to the construction of an improved dual point. This enables a tighter control of optimality as used in stopping criterion, as well as better screening performance of Gap Safe rules. Finally, we propose a working set strategy based on an aggressive use of Gap Safe rules and our new dual point construction, which improves state-of-the-art time performance on Lasso problems.

研究の動機と目的

• 非微分可能正則化によって遅延するLasso問題の反復的ソルバーの高速化を目的とする。
• Lasso最適化におけるより厳密な停止基準を実現するため、デュアルギャップ推定の精度を向上させることを目的とする。
• デュアル補外によるよりタイトなデュアルギャップバウンドを活用することで、スクリーニング性能を向上させることを目的とする。
• 改善されたデュアル点推定によって可能になるGap Safeルールを積極的に活用するワーキングセット戦略の開発を目的とする。

提案手法

• 本手法は、最適化中に生成されるデュアル反復列の補外によって、新たなデュアル点を構築する。
• 補外されたデュアル点からのデュアルギャップを用いて、最適性証明を精緻化し、停止基準の精度を向上させる。
• 改善されたデュアルギャップ推定は、不要な特徴を最適化の初期段階で除外するGap Safeルールの性能を向上させる。
• よりタイトなデュアルギャップに基づいて動的に特徴を選択する、積極的なワーキングセット戦略を提案する。これにより、反復的に問題サイズを削減する。
• 補外、スクリーニング、ワーキングセット選択の各段階で、双対性を一貫して活用することで、収束性の向上と整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 デュアル補外は、Lassoソルバーにおけるデュアルギャップ推定の精度を向上させ得るか？
• RQ2 デュアル補外は、特徴削除におけるGap Safeスクリーニングルールの性能をどのように向上させるか？
• RQ3 改善されたデュアルギャップに基づく積極的なワーキングセット戦略は、Lasso最適化の加速にどの程度寄与するか？
• RQ4 提案手法は、Lasso問題における実行時間の観点から、既存の最先端ソルバーを上回る性能を発揮できるか？

主な発見

• 提案されたデュアル補外技術は、よりタイトなデュアルギャップ推定を実現し、Lassoソルバーにおけるより信頼性の高い停止基準を可能にする。
• 改善されたデュアルギャップ推定は、Gap Safeルールのスクリーニング性能を顕著に向上させ、より早期かつ積極的な特徴削除を可能にする。
• デュアル補外と積極的なワーキングセット選択の組み合わせにより、既存手法と比較してLasso問題における収束がより速くなる。
• 強化されたデュアルベースのスクリーニングにより、より効率的に有効問題サイズを削減することで、優れた時間性能を達成する。