[論文レビュー] Fast Sparse Classification for Generalized Linear and Additive Models

Jiachang Liu, Chudi Zhong+2 more|PubMed|Feb 23, 2022

Statistical Methods and Inference参考文献 4被引用数 5

ひとこと要約

本稿では、正確な $\ell_0$ 正則化を用いた一般化線形モデルおよび一般化加法モデルの高速で解釈可能なスパース分類手法を提案する。指数損失に対して線形の代替カット、ロジスティック損失に対して二次の代替カットを導入し、特徴量評価のための動的優先度キューを採用することで、特徴量が数千個にのぼり、相関が高い大規模データセットに対しても、1分未満でブラックボックスモデルと同等の精度を維持しながら、先行手法比2〜5倍の高速化を達成した。

ABSTRACT

We present fast classification techniques for sparse generalized linear and additive models. These techniques can handle thousands of features and thousands of observations in minutes, even in the presence of many highly correlated features. For fast sparse logistic regression, our computational speed-up over other best-subset search techniques owes to linear and quadratic surrogate cuts for the logistic loss that allow us to efficiently screen features for elimination, as well as use of a priority queue that favors a more uniform exploration of features. As an alternative to the logistic loss, we propose the exponential loss, which permits an analytical solution to the line search at each iteration. Our algorithms are generally 2 to 5 times faster than previous approaches. They produce interpretable models that have accuracy comparable to black box models on challenging datasets.

研究の動機と目的

• 一般化線形モデルおよび一般化加法モデルに正確な $\ell_0$ 正則化を適用した高速で正確なスパース分類手法の開発。
• 数千の特徴量と観測値を含む大規模データセット、特に特徴量間に高い相関がある状況でも対応可能にすること。
• 1分未満の訓練時間で、ブラックボックスモデルと同等のモデル精度を維持すること。
• より優れた代替最適化と動的特徴量順序付けにより、既存のベストサブセット探索手法よりも計算効率を向上させること。
• 指数損失が解析的ラインサーチを可能にし、確率的解釈可能性を損なわず、収束を加速できることを示すこと。

提案手法

• 指数損失において $\lambda_2 = 0$ の場合に線形カットプレーン法を提案し、有望でない特徴量の追加を効率的に pruning できるようにした。
• $\ell_2$ 正則化（$\lambda_2 > 0$）を伴うロジスティック損失に対して二次的カットを導入し、よりタイトな下界を得て収束を早めた。
• 優先度キューを用いて動的に特徴量評価の優先順位を設定し、モデル改善の可能性が高い特徴量を優先的に評価することで、無駄な計算を削減した。
• 指数損失に対して解析的ラインサーチを採用し、反復的最適化を排除することで、座標降下ステップのコストを削減した。
• 連続的特徴量を、各観測値における閾値化によってインジケータ変数に変換し、一般化加法モデルの実装を可能にした。
• $\ell_1$ 正則化の代わりに正確な $\ell_0$ スパースネスを採用することで、バイアスを回避し、真にスパースで解釈可能なモデルを生成した。

実験結果

リサーチクエスチョン

• RQ1 相関の高い特徴量を含む大規模かつ高次元のデータセットにおいて、$\ell_0$ 正則化を用いて1分未満で正確なスパース分類を達成できるか？
• RQ2 ロジスティック損失の代わりに指数損失を用いることで、座標降下法における解析的ラインサーチが可能になり、収束が速くなるか？
• RQ3 積極的な代替カット（線形または二次）を用いることで、ベストサブセット選択における探索空間を著しく削減し、計算効率を向上させられるか？
• RQ4 優先度キューによる動的特徴量順序付けは、スパースモデル探索における収束速度と解の品質にどのように影響するか？
• RQ5 提案手法は、ブラックボックスモデルと同等の精度を達成しながらも、解釈可能で高速なモデルを生成できるか？

主な発見

• 実世界のデータセット（FICOおよびNETHERLANDS）において、提案手法は2.73〜7.2秒の訓練時間を達成し、先行手法と比べて顕著に高速であった。
• 指数損失により解析的ラインサーチが可能となり、1イテレーションあたりのコストが削減され、特に $\lambda_2 = 0$ の場合に収束が著しく早まった。
• 指数損失には線形カットプレーン、ロジスティック損失（$\ell_2$ 正則化付き）には二次的カットを用いることで、有望でない特徴量方向の効率的 pruning が可能になった。
• 優先度キューによる動的特徴量順序付けにより、不要な評価が削減され、探索効率が向上し、全体の高速化に寄与した。
• 提案手法で学習されたモデルは、ブラックボックスモデルと同等のテスト精度を達成した一方で、スパースで閾値化された特徴量表現により完全に解釈可能であった。
• 数千の特徴量と高い相関を持つデータセットに対しても、提案手法は既存のベストサブセットソルバーより2〜5倍の高速化を達成した。