[論文レビュー] A Fuzzy-Rough based Binary Shuffled Frog Leaping Algorithm for Feature Selection

Javad Rahimipour Anaraki, Saeed Samet+2 more|arXiv (Cornell University)|Jul 31, 2018

Rough Sets and Fuzzy Logic参考文献 46被引用数 3

ひとこと要約

本稿では、特徴選択のための新しい二値シャッフルドフロッグリーディングアルゴリズム（B-SFLA）を、ファジィラフ依存度（FRDD）とハイブリッド化した。L-FRFSフレームワークを活用して最小再還元集合（minimal reducts）を特定する。この手法は、サブポピュレーションに基づく多様性維持のおかげで、1回の実行で複数の最小再還元集合を効率的に発見でき、分類精度と特徴サブセットの質において、GA、PSO、GBFSを顕著に上回る性能を発揮する。

ABSTRACT

Feature selection and attribute reduction are crucial problems, and widely used techniques in the field of machine learning, data mining and pattern recognition to overcome the well-known phenomenon of the Curse of Dimensionality, by either selecting a subset of features or removing unrelated ones. This paper presents a new feature selection method that efficiently carries out attribute reduction, thereby selecting the most informative features of a dataset. It consists of two components: 1) a measure for feature subset evaluation, and 2) a search strategy. For the evaluation measure, we have employed the fuzzy-rough dependency degree (FRFDD) in the lower approximation-based fuzzy-rough feature selection (L-FRFS) due to its effectiveness in feature selection. As for the search strategy, a new version of a binary shuffled frog leaping algorithm is proposed (B-SFLA). The new feature selection method is obtained by hybridizing the B-SFLA with the FRDD. Non-parametric statistical tests are conducted to compare the proposed approach with several existing methods over twenty two datasets, including nine high dimensional and large ones, from the UCI repository. The experimental results demonstrate that the B-SFLA approach significantly outperforms other metaheuristic methods in terms of the number of selected features and the classification accuracy.

研究の動機と目的

• 機械学習およびデータマイニングにおける次元の呪いに対処し、特徴選択の効率性と正確性を向上させること。
• 特徴サブセット探索中に局所最適解に陥りがちなグリーディ法およびメタヒューリスティック手法の限界を克服すること。
• 同時に複数の最適解（最小再還元集合）を探索できるように、集団の多様性を維持する探索戦略を開発すること。
• ファジィラフ集合論を、新たな二値メタヒューリスティックと統合し、強固で高性能な特徴選択を実現すること。
• 提案手法をUCIレポジトリの多様で高次元のデータセット上で、既存のアルゴリズムと比較して評価すること。

提案手法

• 本手法は、特徴サブセットの評価指標としてファジィラフ依存度（FRDD）を計算するために、下近似に基づくファジィラフ特徴選択（L-FRFS）フレームワークを採用する。
• 新たに提案されたシャッフルドフロッグリーディングアルゴリズムの二値版（B-SFLA）では、フロッグが特徴の包含・除外を示すバイナリ文字列として表現される。
• B-SFLAは集団をサブポピュレーション（メモプレックス）に分割し、並列的な局所探索を可能にすることで、多様性を高め、早期収束を回避する。
• 各フロッグの位置は、自身の最良解とメモプレックス内でのグローバル最良解に基づき更新され、解空間を探索するための確率的局所探索メカニズムが用いられる。
• アルゴリズムは、FRDDを最大化するとともに、選択された特徴数を最小化するように、反復的に特徴サブセットを改善する。
• 最終的な解集合には、最小サイズかつ最高のFRDDを持つ複数の最小再還元集合が、1回の実行で同定される。

実験結果

リサーチクエスチョン

• RQ1 FRDDに基づく評価とハイブリッド化されたB-SFLAは、GA や PSO といった従来のメタヒューリスティックを上回る特徴選択の正確性と効率性を達成できるか？
• RQ2 B-SFLAのサブポピュレーション構造により、GA や PSO が通常1つの最小再還元集合しか返さないのに対し、1回の実行で複数の最小再還元集合を発見できるか？
• RQ3 提案手法は、多様なデータセットにおいて、L-FRFS や GBFS と比較して分類精度と特徴サブセットサイズの点で優れているか？
• RQ4 B-SFLAは、高次元および大規模データセットにおいて、性能を維持または向上させながら、計算時間をどの程度短縮できるか？
• RQ5 複数の最適解が存在するマルチモーダル特徴選択問題において、B-SFLAは特に効果的であるか？

主な発見

• 分類精度に関するフリードマン検定において、B-SFLAは平均順位2.1364を達成し、GA（3.1818）、PSO（3.4091）、GBFS（3.5000）、L-FRFS（2.7727）を顕著に上回った。
• 事後分析により、B-SFLAの性能はα=0.05の有意水準でPSO、GA、GBFSよりも統計的に優れており、p値はそれぞれ0.007592、0.02831、0.004231であった。
• B-SFLAは大多数のデータセットで最も高速であった。マルチスレッドC++実装は、WekaのJavaベースのGAおよびPSOを上回った。
• GA や PSO が通常1つの最小再還元集合しか返さないのに対し、B-SFLA はサブポピュレーション構造のおかげで、1回の実行で一貫して複数の最小再還元集合を返した。
• COIL-2000、CNAE-9、Madelonといった高次元および大規模データセットにおいても、高い精度と少ない特徴数で優れた性能を示した。
• B-SFLAは、メモプレックスに基づく探索によって集団の多様性を維持できるため、複数の最適解が存在するマルチモーダル特徴選択問題に特に適している。