[論文レビュー] Learning Sparse Classifiers: Continuous and Mixed Integer Optimization Perspectives

Antoine Dedieu, Hussein Hazimeh+1 more|arXiv (Cornell University)|Jan 17, 2020

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、$\mu$at-正則化最適化を用いたスパースな分類器の学習のためのスケーラブルな混合整数プログラミング（MIP）ベースのアルゴリズムを提案する。整数性を厳密に保証する生成法と、近似の座標降下法／局所探索技術を導入している。$p \approx 50,000$ 特徴量では数分で最適解、$p \approx 10^6$ 特徴量では $\ell_1$ 法と同等の時間で解を得られ、実データおよび合成データにおいて変数選択性能と統計的性能が向上している。

ABSTRACT

We consider a discrete optimization formulation for learning sparse classifiers, where the outcome depends upon a linear combination of a small subset of features. Recent work has shown that mixed integer programming (MIP) can be used to solve (to optimality) $\\ell_0$-regularized regression problems at scales much larger than what was conventionally considered possible. Despite their usefulness, MIP-based global optimization approaches are significantly slower compared to the relatively mature algorithms for $\\ell_1$-regularization and heuristics for nonconvex regularized problems. We aim to bridge this gap in computation times by developing new MIP-based algorithms for $\\ell_0$-regularized classification. We propose two classes of scalable algorithms: an exact algorithm that can handle $p\\approx 50,000$ features in a few minutes, and approximate algorithms that can address instances with $p\\approx 10^6$ in times comparable to the fast $\\ell_1$-based algorithms. Our exact algorithm is based on the novel idea of \ extsl{integrality generation}, which solves the original problem (with $p$ binary variables) via a sequence of mixed integer programs that involve a small number of binary variables. Our approximate algorithms are based on coordinate descent and local combinatorial search. In addition, we present new estimation error bounds for a class of $\\ell_0$-regularized estimators. Experiments on real and synthetic data demonstrate that our approach leads to models with considerably improved statistical performance (especially, variable selection) when compared to competing methods.

研究の動機と目的

• 混合整数プログラミング（MIP）による $\ell_0$ 正則化分類の計算上のボトル neck を解消すること。これは $\ell_1$ 法と比較して遅いため、グローバル最適性を達成するが、実用的でない。
• 高次元特徴量（$p \approx 50,000$ から $10^6$）においても、効率的に $\ell_0$ 正則化分類問題を解くスケーラブルな正確かつ近似アルゴリズムを開発すること。
• $\ell_0$ のスパース性と連続的 $\ell_q$（$q=1,2$）正則化を統合的最適化フレームワークに組み合わせることで、モデルの安定性と変数選択性能を向上させること。
• 高次元設定下での $\ell_0$ 正則化推定量の理論的推定誤差バウンドを確立すること。

提案手法

• 整数性を厳密に保つ生成法に基づく正確なアルゴリズムを導入。元の $p$ 個のバイナリ変数を持つ MIP を、少数のバイナリ変数を含む小さな MIP の逐次的系列として解く。
• 座標降下法と局所組合せ探索を用いた近似アルゴリズムを開発。これにより、$p \approx 10^6$ 特徴量のスケーリングが実現され、$\ell_1$ 法と同等の実行時間となる。
• $\ell_0$ と $\ell_q$（$q=1,2$）ペナルティを組み合わせたハイブリッド正則化フレームワークを提案。これによりモデルの安定性と変数選択性能が向上する。
• 非凸な $\ell_0$ 正則化問題に対して最適性証明を保証するため、強い双対バウンドを用いた分枝限定法 MIP フレームワークを採用。
• 高次元サンプリング仮定下で理論的推定誤差バウンドを導出。スパarsity $k$、サンプルサイズ $n$、特徴量次元 $p$ に依存する収束速度が示された。
• 新しい双対証明法を用いて、MIP定式化の解が最適性を満たす十分条件を満たしていることを証明。

実験結果

リサーチクエスチョン

• RQ1 MIPベースの手法は、$p \approx 50,000$ 特徴量の $\ell_0$ 正則化分類問題を数分で解けるほどスケーラブルにできるか？
• RQ2 近似 MIP アルゴリズムは、$\ell_1$ 法と同等の実行時間で実現しつつ、高い統計的性能を維持できるか？
• RQ3 $\ell_0$ スパース性と連続的 $\ell_q$ 正則化（$q=1,2$）を組み合わせることで、$\ell_1$ もしくは純粋な $\ell_0$ 法よりも優れた変数選択と低い推定誤差が得られるか？
• RQ4 ノイズが多い、または信号対雑音比が低いデータ下での高次元設定において、$\ell_0$ 正則化推定量の理論的推定誤差バウンドは何か？

主な発見

• 正確な整数性生成アルゴリズムにより、$p \approx 50,000$ 特徴量の $\ell_0$ 正則化分類問題が数分でグローバル最適性を達成して解かれた。
• 座標降下法と局所探索に基づく近似アルゴリズムは、$p \approx 10^6$ 特徴量にスケーリング可能であり、$\ell_1$ 法と同等の実行時間となった。
• 実データおよび合成データにおいて、提案手法の $\ell_0$ ベースモデルは $\ell_1$ 正則化ロジスティック回帰よりも顕著に優れた変数選択と高い AUC を達成した。
• 理論的分析により、$\ell_0$ 正則化推定量の推定誤差が $O\left(\frac{k \log(p/k)}{n}\right)$ のレートで減少することが示され、スパarsity 条件下で最適なレートに一致した。
• 誤差バウンドは制限固有値条件 $\kappa(k)$ に依存し、設計行列が強い非一貫性または固有値条件を満たす場合、よりタイトなバウンドが得られた。
• 実験的結果から、$\ell_0$-$\ell_2$ および $\ell_0$-$\ell_1$ 正則化モデルは、AUC とサポートサイズのトレードオフの観点から、複数のデータセット（Arcene, Dorothea, Dexter）で $\ell_1$ の対応モデルを一貫して上回った。