[論文レビュー] Forward-Backward Selection with Early Dropping

Giorgos Borboudakis, Ioannis Tsamardinos|arXiv (Cornell University)|May 30, 2017

Bayesian Modeling and Causal Inference参考文献 27被引用数 25

ひとこと要約

本稿では、現在選択済みの変数集合に関して結果変数と条件付き独立であると判明した変数を一時的に除外することで、特徴選択を高速化するヒューリスティックであるForward-Backward Selection with Early Dropping (FBED)を提案する。この手法は、実行時間を最大2桁短縮し、変数数を減らす一方で、忠実性仮定の下でマークフ・ブラケットを正しく同定する能力を維持する。

ABSTRACT

Forward-backward selection is one of the most basic and commonly-used feature selection algorithms available. It is also general and conceptually applicable to many different types of data. In this paper, we propose a heuristic that significantly improves its running time, while preserving predictive accuracy. The idea is to temporarily discard the variables that are conditionally independent with the outcome given the selected variable set. Depending on how those variables are reconsidered and reintroduced, this heuristic gives rise to a family of algorithms with increasingly stronger theoretical guarantees. In distributions that can be faithfully represented by Bayesian networks or maximal ancestral graphs, members of this algorithmic family are able to correctly identify the Markov blanket in the sample limit. In experiments we show that the proposed heuristic increases computational efficiency by about two orders of magnitude in high-dimensional problems, while selecting fewer variables and retaining predictive performance. Furthermore, we show that the proposed algorithm and feature selection with LASSO perform similarly when restricted to select the same number of variables, making the proposed algorithm an attractive alternative for problems where no (efficient) algorithm for LASSO exists.

研究の動機と目的

• 高次元特徴選択におけるフォワード・バックワード選択の計算コストの高さと多重検定の問題に対処すること。
• 予測性能や関連変数の同定精度を損なわずに効率を向上させること。
• ベイジアンネットワークおよび最大アーキテクチャグラフの仮定の下で理論的保証を維持しつつ、収束を迅速化するヒューリスティックを開発すること。
• LASSOが計算的に非現実的となる状況におけるLASSOの代替手段を提供すること。

提案手法

• アルゴリズムはフォワード選択を実行するが、現在選択済みの集合に関して結果変数と条件付き独立であると判明した変数を一時的に除外する。
• フォワード選択終了後、選択された変数に対してバックワード除去を適用し、最大K回の追加のフォワード・バックワードサイクルを実行する。
• この手法はパラメータKで制御されており、K=0, 1, ∞は、マークフ・ブラケット回復に関する異なる理論的保証に対応する。
• 条件付き独立性は統計的検定により評価され、ヒューリスティックはベイジアンネットワークおよび最大アーキテクチャグラフの性質を活用する。
• アルゴリズムはMXM Rパッケージに実装されており、混合データ型、非線形関係、ロバストな検定をサポートする。
• 本手法は、次元数やスパarsityが異なる12のデータセットを用いて評価され、実行時間、精度、変数選択の質の観点から比較された。

実験結果

リサーチクエスチョン

• RQ1 条件付き独立な変数を早期に除外することで、フォワード・バックワード選択の実行時間を著しく短縮できるか、かつ予測性能が劣化しないか。
• RQ2 提案されたヒューリスティックは、ベイジアンネットワークまたは最大アーキテクチャグラフへの忠実性仮定の下で、マークフ・ブラケット同定の理論的保証を維持するか。
• RQ3 LASSOと同等の特徴数を選択する制約のもとで、FBEDとLASSOの変数選択の質および予測精度はどのように比較されるか。
• RQ4 追加のフォワード・バックワードサイクル数（K）が、計算効率と選択精度のトレードオフに与える影響は何か。
• RQ5 高次元設定において、FBEDは標準的なフォワード・バックワード選択よりも、速度および変数選択のスパarsityの面で優れているか。

主な発見

• FBEDは高次元データセットにおいて、計算時間を最大2桁短縮する。ギゼットデータセットではFBED∞が6,759.6秒のFBSと比較して4,191.7秒を記録した。
• ギゼットデータセットにおいてFBED∞は85.2％のマークフ・ブラケット回復率を達成し、FBS（81.7％）およびFBED0（43.7％）を上回った。
• FBED1およびFBED∞はLASSO-FSと同等の予測性能を達成し、複数のデータセットで中央値AUC差が0.05未満であった。
• FBED0はFBS（マスクデータで23.1 vs. 26.1）よりも少ない変数を選択しながら、精度を維持または向上させた。
• アルゴリズムは、混合連続およびカテゴリカル予測子、時系列データ、イベント発生までの時間のアウトカムを含む多様なデータタイプにおいても高い精度を維持した。
• FBED∞は、精度と効率のバランスが最も優れており、ドロセアデータセットでは中央値実行時間が22.3秒であったのに対し、1000個のλ値を用いたLASSO-FSは89.0秒であった。