[論文レビュー] Faster feature selection with a Dropping Forward-Backward algorithm

Thu L. N. Nguyen|arXiv (Cornell University)|Oct 17, 2019

Sparse and Compressive Sensing Techniques参考文献 10被引用数 4

ひとこと要約

本稿では、高次元データにおける特徴選択を高速化するための新しいドロップイン・フォワード・バックワード（DFB）アルゴリズムを提案する。この手法は、前方選択の過程で不要な特徴を動的にドロップすることで、トレーニングを加速する。ステップワイズ選択と比較して、計算時間を最大65.77％短縮できる一方で、誤差率と特徴集合の品質は同等を維持する。特に $p \gg n$ の状況において顕著な効果を示す。

ABSTRACT

In this era of big data, feature selection techniques, which have long been proven to simplify the model, makes the model more comprehensible, speed up the process of learning, have become more and more important. Among many developed methods, forward and stepwise feature selection regression remained widely used due to their simplicity and efficiency. However, they all involving rescanning all the un-selected features again and again. Moreover, many times, the backward steps in stepwise deem unnecessary, as we will illustrate in our example. These remarks motivate us to introduce a novel algorithm that may boost the speed up to 65.77% compared to the stepwise procedure while maintaining good performance in terms of the number of selected features and error rates. Also, our experiments illustrate that feature selection procedures may be a better choice for high-dimensional problems where the number of features highly exceeds the number of samples.

研究の動機と目的

• 従来の前方選択およびステップワイズ選択における非効率性、すなわち未選択特徴の繰り返しスキャンと、余分な特徴の含む可能性を解消するため。
• 低誤差率と最小限の特徴数を維持しつつ、より高速で効率的な特徴選択手法を開発するため。
• 特徴抽出（例：PCA）よりも特徴選択が $p \gg n$ 問題において優れていることを示すため。これは、共分散推定がより良いからである。
• 実行時間はデータ次元数だけでなく、モデルのスパarsityにも依存することを示し、アルゴリズム設計に影響を与えるため。
• 調整可能なしきい値（$\alpha$, $\beta$）と、早期停止や特徴順位付けをサポートする実用的で設定可能なアルゴリズムを提供するため。

提案手法

• DFBアルゴリズムは、前方選択と動的バックワード除去を組み合わせたものである。特徴は基準値の向上に基づき逐次追加され、その後すぐに、寄与が著しくなくなった場合に削除の検査が行われる。
• 前方追加の後、$\beta$-削除しきい値を満たさない特徴が即座に削除され、余分な特徴の蓄積を防ぐ。
• 二段階のループ構造を採用する：前方フェーズで特徴を追加し、その後「ドロップ」フェーズで次回の前方ステップの前に寄与しない特徴を削除する。
• 改善が $\alpha$ しきい値を下回るか、最大特徴数に達した場合にアルゴリズムは終了する。
• 設定可能なしきい値（$\alpha$：導入用、$\beta$：削除用）をサポートし、前方フェーズでの挿入順に基づく特徴順位付けの出力も可能。
• LDAや他の分類器を用いて、シミュレーテッドおよび実世界のデータセット（Biodegradation, Ionosphere, Optic, Satellite, Parkinson）を用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドな前方・バックワード特徴選択手法は、モデルパフォーマンスを劣化させることなく、トレーニング時間を顕著に短縮できるか？
• RQ2 特徴選択の実行時間は、データ次元数およびモデルスパarsityにどのように依存するか？
• RQ3 $p \gg n$ 問題において、特徴選択はPCAなどの特徴抽出手法よりも優れた代替手段となるか？
• RQ4 前方選択の過程で余分な特徴を動的に削除することで、標準的なステップワイズまたは前方・バックワード手法と比較して、効率が向上するか？
• RQ5 $\alpha$ および $\beta$ しきい値が、特徴選択プロセスの速度と安定性にどのように影響するか？

主な発見

• $p=70$ のシミュレーテッドデータにおいて、DFBアルゴリズムは前方・バックワード手法より21.89％速く、ステップワイズ選択より23.11％速く、特徴数は同一（4特徴）であった。
• Opticデータセットでは、DFB法は24.045秒で実行され、ステップワイズ選択の34.23％の時間で完了し、前方・バックワード手法の66.29％の時間であった。
• Parkinsonデータセットでは、ステップワイズ選択の25.486秒からDFB法では2.691秒に短縮され、89.3％の高速化を達成。特徴数はステップワイズの24個から10個に削減された。
• すべての実世界データセットにおいて、DFBは誤差率がステップワイズおよび前方・バックワード手法と同等またはそれ以上であり、特にLDA分類においてPCAを上回った。
• アルゴリズムの実行時間は特徴数に比例的ではなかった。例えば、Parkinson（753特徴）はOptic（64特徴）よりも速く実行された。これは、モデルスパarsityに強く依存することを示している。
• 特徴数の選択は、すべての手法で安定しており、1000回のシミュレーションにおいて、DFBはステップワイズの2倍を超えることは一度もなかった。