[論文レビュー] Solving large-scale L1-regularized SVMs and cousins: the surprising effectiveness of column and constraint generation.

Antoine Dedieu, Rahul Mazumder|arXiv (Cornell University)|Jan 6, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本論文は、大規模なL1正則化SVMおよび関連問題を解くために、古典的分解法と一次最適化を組み合わせた、新しいカラムおよび制約生成アルゴリズムを提案する。これらの技術を統合することで、実データおよび合成データ上で、商業的ソルバーや専用実装と比較して、数個のオーダーの高速化を達成し、LPに基づく機械学習タスクにおいて驚くべき効果を示している。

ABSTRACT

The linear Support Vector Machine (SVM) is one of the most popular binary classification techniques in machine learning. Motivated by applications in modern high dimensional statistics, we consider penalized SVM problems involving the minimization of a hinge-loss function with a convex sparsity-inducing regularizer such as: the L1-norm on the coefficients, its grouped generalization and the sorted L1-penalty (aka Slope). Each problem can be expressed as a Linear Program (LP) and is computationally challenging when the number of features and/or samples is large -- the current state of algorithms for these problems is rather nascent when compared to the usual L2-regularized linear SVM. To this end, we propose new computational algorithms for these LPs by bringing together techniques from (a) classical column (and constraint) generation methods and (b) first order methods for non-smooth convex optimization - techniques that are rarely used together for solving large scale LPs. These components have their respective strengths; and while they are found to be useful as separate entities, they have not been used together in the context of solving large scale LPs such as the ones studied herein. Our approach complements the strengths of (a) and (b) --- leading to a scheme that seems to outperform commercial solvers as well as specialized implementations for these problems by orders of magnitude. We present numerical results on a series of real and synthetic datasets demonstrating the surprising effectiveness of classic column/constraint generation methods in the context of challenging LP-based machine learning tasks.

研究の動機と目的

• 大規模なL1正則化SVMおよび関連問題（例：グループ化lassoやSlope正則化SVM）を解く際の計算的課題に対処すること。
• L2正則化SVMソルバーよりも発展が遅く、特に高次元設定において限界がある既存のアルゴリズムの限界を克服すること。
• カラム／制約生成と一次最適化法の長所を活かした、スケーラブルで効率的なソリューションフレームワークを開発すること。
• 実世界および合成データセット上で、このハイブリッド手法の有効性を示し、最先端のソルバーより顕著な性能向上を示すこと。

提案手法

• L1正則化SVMおよびその変種を、構造を活かした大規模な線形計画問題（LP）として定式化する。
• 動的特徴量（カラム）の生成にカラム生成法を、活性制約の同定に制約生成法を用い、反復的に問題サイズを縮小する。
• 部分勾配法やバンドル法などの一次最適化法を用いて、ヒンジ損失とL1正則化の非滑らか凸構造を効率的に解くマスタープロブレムを解く。
• 一次最適化法で制限付きマスタープロブレムを解き、価格設定サブプロブレムで新しいカラム／制約を生成する操作を交互に繰り返し、最適解への収束を保証する。
• グループ構造と順序付きペナルティを尊重するように、価格設定およびマスタープロブレムの定式化を変更することで、グループ化L1およびSlopeペナルティへの拡張を図る。
• 古典的分解法と現代の一次最適化法を統合し、両者の長所が相乗効果を生む、包括的な手法を構築する。

実験結果

リサーチクエスチョン

• RQ1 カラムおよび制約生成技術を一次最適化法と効果的に組み合わせることで、既存の手法よりも大規模なL1正則化SVMをより効率的に解くことができるか？
• RQ2 提案されたハイブリッド手法は、L1正則化SVMのための商業的ソルバーや専用実装と比較して、性能でどのように差をつけるか？
• RQ3 分解法と一次最適化の統合は、高次元データセットにおけるスケーラビリティをどの程度向上させるか？
• RQ4 この手法は、グループ化lassoやSlopeを含むさまざまな正則化子に対しても強力な性能を維持するか？
• RQ5 実世界および合成データセットにおけるこのアプローチの実効果は、解法時間および収束速度の観点でどの程度の影響を与えるか？

主な発見

• 提案されたカラムおよび制約生成手法は、L1正則化SVMの商業的ソルバーや専用実装と比較して、解法時間で数個のオーダーの高速化を達成している。
• 一次最適化法とカラム／制約生成の統合により、両者の長所が相乗効果を生み出すシナジー効果が発現している。
• 本手法は、実データおよび合成データの両方で、特徴量やサンプル数が多くても高次元設定においても、高速な収束性とスケーラビリティを達成している。
• 標準L1、グループ化lasso、Slopeの複数の正則化子に対して効果的であり、広範な適用可能性を示している。
• 数値実験の結果、本手法は多様な問題インスタンスにおいても頑健な性能を維持しており、従来のソルバーよりも処理不能とされてきた問題を数分で解けることが示された。