[論文レビュー] SPSA-FSR: Simultaneous Perturbation Stochastic Approximation for Feature Selection and Ranking

Zeren D. Yenice, Niranjan Adhikari+4 more|arXiv (Cornell University)|Apr 16, 2018

Neural Networks and Applications参考文献 3被引用数 9

ひとこと要約

本稿では、同時摂動確率的近似（SPSA）フレームワークにBarzilai-Borwein（BB）法を統合することで、特徴選択における収束速度を向上させる、新しいラッパー型特徴選択アルゴリズムであるSPSA-FSを提案する。ステップサイズと勾配推定の滑らかさを向上させることで、精度の損失を最小限に抑えつつ、計算コストを著しく削減し、特に回帰タスクにおいて、より少ない特徴数で不正確率（1−R²）が低くなるという点で、ベースラインラッパー手法を上回る性能を発揮する。

ABSTRACT

This manuscript presents the following: (1) an improved version of the Binary Simultaneous Perturbation Stochastic Approximation (SPSA) Method for feature selection in machine learning (Aksakalli and Malekipirbazari, Pattern Recognition Letters, Vol. 75, 2016) based on non-monotone iteration gains computed via the Barzilai and Borwein (BB) method, (2) its adaptation for feature ranking, and (3) comparison against popular methods on public benchmark datasets. The improved method, which we call SPSA-FSR, dramatically reduces the number of iterations required for convergence without impacting solution quality. SPSA-FSR can be used for feature ranking and feature selection both for classification and regression problems. After a review of the current state-of-the-art, we discuss our improvements in detail and present three sets of computational experiments: (1) comparison of SPSA-FS as a (wrapper) feature selection method against sequential methods as well as genetic algorithms, (2) comparison of SPSA-FS as a feature ranking method in a classification setting against random forest importance, chi-squared, and information main methods, and (3) comparison of SPSA-FS as a feature ranking method in a regression setting against minimum redundancy maximum relevance (MRMR), RELIEF, and linear correlation methods. The number of features in the datasets we use range from a few dozens to a few thousands. Our results indicate that SPSA-FS converges to a good feature set in no more than 100 iterations and therefore it is quite fast for a wrapper method. SPSA-FS also outperforms popular feature selection as well as feature ranking methods in majority of test cases, sometimes by a large margin, and it stands as a promising new feature selection and ranking method.

研究の動機と目的

• ラッパー型特徴選択におけるバイナリSPSA（BSPSA）アルゴリズムの収束が遅い問題に対処する。
• 予測精度を維持しつつ、特徴選択における計算コストを低減する。
• 分類および回帰タスクの両方において、最適な特徴サブセットを効率的に特定する。
• 適応的ステップサイズと勾配推定を統合することで、ラッパー手法における実行時間と精度のバランスを改善する。
• 既存のラッパー手法と比較して、SPSA-FSの優れた性能を示す。特に、特徴数が限られた回帰タスクにおいて顕著である。

提案手法

• 確率的擬似勾配降下フレームワークを用いて、バイナリ特徴選択にための同時摂動確率的近似（SPSA）アルゴリズムを適応させる。
• 収束速度と安定性を向上させるために、Barzilai-Borwein（BB）法を用いてステップサイズを動的に調整する。
• 特徴次元にかかわらず、1イテレーションあたり2回の関数評価で、性能指標（誤分類誤差やR²など）の勾配を同時摂動を用いて推定する。
• 特徴サブセットをバイナリ表現（除外：0、含む：1）で表現し、勾配推定値を用いた確率的近似によってサブセットを更新する。
• イテレーション全体にわたる平均勾配推定値を維持することで、分散を低減し、収束の信頼性を向上させる。
• BB法の適応的ステップサイズ戦略とSPSAを統合することで、計算オーバーヘッドを低減しつつ、解の品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 BB法をSPSAに統合することで、精度を損なわず、ラッパー型特徴選択における収束速度を向上させることができるか？
• RQ2 多様な分類データセットにおいて、SPSA-FSは他のラッパー手法と比較して誤分類誤差の面で優れているか？
• RQ3 特徴数が少ない状況で、SPSA-FSは回帰タスクにおいて、ベースラインラッパーと比較して不正確率（1−R²）をどの程度低減できるか？
• RQ4 BSPSAや他のラッパーアルゴリズムと比較して、SPSA-FSは計算コストと予測性能のバランスをどのように改善しているか？
• RQ5 分類と回帰、特徴数の観点から、SPSA-FSが既存手法に比べて最も顕著な優位性を示すシナリオは何か？

主な発見

• SPSA-FSは、BSPSAと同等またはそれ以上の精度を維持しながら、著しく低い計算コストを達成した。
• 回帰タスクにおいて、SPSA-FSは他のラッパー手法を上回り、使用する特徴数がたとえ30％程度でも、不正確率（1−R²）が低くなった。
• 他の手法よりも少ない特徴数で最適な性能に到達した。すべての特徴が使用された場合（100％特徴集合）にのみ、性能差がわずかに小さくなった。
• 分類タスクにおいて、SPSA-FSは一部のデータセットで他のラッパーを上回る精度を達成した。性能が劣った場合でも差はわずかであった。
• BB法とSPSAの統合により、モデル再トレーニングのイテレーション回数が減少し、解の品質に顕著な損失を伴わず、収束が高速化された。
• SPSA-FSは、Sonar、Libras、Musk、USPS、Boston Housingなど多様なデータセットにおいて、一貫した効率性と精度の向上を示し、高いロバスト性を示した。