[論文レビュー] Naive Feature Selection: a Nearly Tight Convex Relaxation for Sparse Naive Bayes

Armin Askari, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|May 23, 2019

Rough Sets and Fuzzy Logic被引用数 4

ひとこと要約

本稿では、分類係数におけるスパarsityを凸緩和を用いて直接制御するスパースなナイーブベイズの変種を提案する。これにより、特徴選択の正確または近似的にタイトな解が得られる。この手法は、LASSO や再帰的特徴削除（RFE）と同等の統計的性能を達成するが、近似的に線形の計算複雑度を有し、非最適化のCPU実装で1200万特徴、160万点のテキストデータセットに対して15秒未満で学習が可能である。

ABSTRACT

Due to its linear complexity, naive Bayes classification remains an attractive supervised learning method, especially in very large-scale settings. We propose a sparse version of naive Bayes, which can be used for feature selection. This leads to a combinatorial maximum-likelihood problem, for which we provide an exact solution in the case of binary data, or a bound in the multinomial case. We prove that our convex relaxation bounds becomes tight as the marginal contribution of additional features decreases, using a priori duality gap bounds dervied from the Shapley-Folkman theorem. We show how to produce primal solutions satisfying these bounds. Both binary and multinomial sparse models are solvable in time almost linear in problem size, representing a very small extra relative cost compared to the classical naive Bayes. Numerical experiments on text data show that the naive Bayes feature selection method is as statistically effective as state-of-the-art feature selection methods such as recursive feature elimination, $l_1$-penalized logistic regression and LASSO, while being orders of magnitude faster.

研究の動機と目的

• ハイパーパramータのチューニングを必要とせず、特徴選択の基数を直接制御できるスパースなナイーブベイズモデルの開発。
• 二値（ベルヌーイ）データに対しては正確な解を提供し、多項分布データに対してはタイトな凸緩和を提供すること。
• データサイズにほぼ線形な学習複雑度を達成し、古典的なナイーブベイズのスケーラビリティを維持すること。
• 最先端の特徴選択手法と同等またはそれを上回る統計的性能を発揮するとともに、100万倍以上高速であることを実証すること。
• 特徴の周辺寄与度が小さくなるにつれて、緩和が次第にタイトになる条件を明らかにすること。

提案手法

• 分類係数ベクトルの基数制約を明示的に含む組合せ的最尤問題を定式化する。
• 双対性とKKT条件を用いて、ベルヌーイ分布データに対して正確な解を導出する。これにより、特徴係数のしきい値処理に帰着する。
• ラグランジュ双対アプローチを用いて多項分布データのための凸緩和を提案し、最適目的関数の上界を提供する。
• 2段階のアルゴリズムを採用する：まず標準的なナイーブベイズで特徴係数を計算し、次にスパarsityを強制するしきい値ルールを適用する。
• 双対性に基づくアプローチにより、特徴の周辺寄与度が小さい場合に緩和がタイトになることを示す。
• ナイーブベイズ分類器の構造を活用することで、最終的なモデルが解釈可能かつ計算的に効率的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 スパースなナイーブベイズのための凸緩和を、計算的に効率的かつ統計的にタイトに導出可能か？
• RQ2 提案手法は、スパarsityレベルのハイパーパramータチューニングを必要とせずに、正確なスパarsity制御を達成できるか？
• RQ3 LASSO や再帰的特徴削除（RFE）、およびその他の特徴選択ベースラインと比較して、スパースなナイーブベイズモデルの性能（精度と速度）はいかがなっているか？
• RQ4 特に特徴の周辺寄与度との関係において、凸緩和がどのような条件下でタイトになるか？
• RQ5 数百万の特徴と訓練点を有する非常に大規模なデータセットに対しても、この手法は近似的に線形の学習時間を維持しながらスケーラブルか？

主な発見

• 提案されたスパースなナイーブベイズモデルは、テキスト分類タスクにおいて、LASSO や再帰的特徴削除（RFE）と同等の統計的性能を達成する。
• 160万件の訓練点と約1200万の特徴を有する大規模データセットにおいて、非最適化CPU実装で15秒未満の学習時間を達成する。
• 二値（ベルヌーイ）データに対して正確な解を提供し、特徴の周辺寄与度が小さくなるにつれて、凸緩和が次第にタイトになる。
• 単純なしきい値処理を施したナイーブベイズやオッズ比特徴選択といった単純なベースラインと比較して、精度と効率の両面で優れている。
• 特徴数およびデータポイント数に対して、ほぼ線形にスケーリングする。古典的なナイーブベイズと同等の複雑度を維持しながら、最小限のオーバーヘッドを追加する。
• スパarsityの目標レベルを達成するためにハイパーパramータチューニングの必要がなく、スパarsityは基数制約により直接制御可能である。