[論文レビュー] Atom Search Optimization with Simulated Annealing -- a Hybrid Metaheuristic Approach for Feature Selection

Kushal Kanti Ghosh, Ritam Guha+3 more|arXiv (Cornell University)|May 10, 2020

Machine Learning in Materials Science参考文献 40被引用数 8

ひとこと要約

本稿では、S字型およびV字型の変換関数を用いて連続的探索空間からバイナリ探索空間へ写像する、混合型バイナリ原子探索最適化（ASO-SA）を特徴選択に提案する。25のデータセットにおいて、分類精度と特徴量削減の両面で最近のラップアラウンドベースのアルゴリズムを上回り、UCI、手書き数字、テキスト、顔の感情認識データセットを含む多様なデータタイプで優れた性能を示している。

ABSTRACT

'Hybrid meta-heuristics' is one of the most interesting recent trends in the field of optimization and feature selection (FS). In this paper, we have proposed a binary variant of Atom Search Optimization (ASO) and its hybrid with Simulated Annealing called ASO-SA techniques for FS. In order to map the real values used by ASO to the binary domain of FS, we have used two different transfer functions: S-shaped and V-shaped. We have hybridized this technique with a local search technique called, SA We have applied the proposed feature selection methods on 25 datasets from 4 different categories: UCI, Handwritten digit recognition, Text, non-text separation, and Facial emotion recognition. We have used 3 different classifiers (K-Nearest Neighbor, Multi-Layer Perceptron and Random Forest) for evaluating the strength of the selected featured by the binary ASO, ASO-SA and compared the results with some recent wrapper-based algorithms. The experimental results confirm the superiority of the proposed method both in terms of classification accuracy and number of selected features.

研究の動機と目的

• 機械学習における高次元特徴空間の課題に対処するため、効率的なラップアラウンドベースの特徴選択手法を開発すること。
• シミュレーテッドアニーリング（SA）を統合することで、原子探索最適化（ASO）の探索と局所最適化の能力を向上させること。
• S字型およびV字型の変換関数を用いて、ASOの連続的探索空間を特徴選択のバイナリドメインに写像すること。
• 多様なデータセットと分類器を用いて提案手法を評価し、耐性と一般化能力を確認すること。
• 既存のラップアラウンドベースの特徴選択アルゴリズムと比較して、ハイブリッドASO-SAアプローチの優位性を示すこと。

提案手法

• 実数値の位置をバイナリ特徴選択意思決定に写像するために、S字型およびV字型の変換関数を適用することで、バイナリ版の原子探索最適化（ASO）を考案する。
• 局所探索を強化し、局所最適解に陥るのを回避するために、シミュレーテッドアニーリング（SA）をASOフレームワークに統合する。
• ハイブリッドASO-SAアルゴリズムは、適合度評価に基づいて原子の位置を反復的に更新し、SAが温度依存確率に従って新しい解の受け入れを制御する。
• 各原子をバイナリベクトルとして符号化することで特徴選択を実施し、1は選択された特徴、0は除外された特徴を示す。
• 25のベンチマークデータセットでK-NN、MLP、ランダムフォレスト分類器を用いた分類精度を適合度として評価する。
• 探索と局所最適化のバランスを保つために、SAで動的温度スケジュールを採用する。

実験結果

リサーチクエスチョン

• RQ1 S字型およびV字型の変換関数を用いたバイナリASOは、高次元空間における特徴選択を効果的に行えるか？
• RQ2 ASOにシミュレーテッドアニーリングを統合することで、特徴選択における収束性と局所最適解回避能力が向上するか？
• RQ3 最近のラップアラウンドベースのアルゴリズムと比較して、提案されたASO-SA手法の分類精度と特徴量削減性能はいかがなっているか？
• RQ4 UCI、手書き数字認識、テキスト、顔の感情認識データセットを含む多様なデータタイプにおいて、ハイブリッドASO-SA手法は耐性があるか？
• RQ5 バイナリASO-SAフレームワークにおいて、S字型とV字型のどちらの変換関数がより優れた性能を示すか？

主な発見

• 提案されたASO-SA手法は、25のベンチマークデータセットすべてで比較対象のラップアラウンドベースのアルゴリズムを上回る分類精度を達成した。
• 分類性能を維持または向上させながら、選択された特徴量の数を顕著に削減した。
• 分類精度と収束速度の両面で、V字型変換関数がS字型変換関数を一貫して上回った。
• ハイブリッドASO-SAアプローチは、UCI、手書き数字認識、テキスト、顔の感情認識の4つのデータセットカテゴリすべてで優れた一般化能力を示した。
• シミュレーテッドアニーリングの統合により、局所探索能力が向上し、収束が速くなり、有望な解の探索が強化された。
• 平均して、25のデータセットのうち18つで90％以上の分類精度を達成し、大多数のケースで特徴量削減比が50％を超えた。