[論文レビュー] An Evolutionary Multitasking Algorithm with Multiple Filtering for High-Dimensional Feature Selection

Lingjie Li, Manlin Xuan+4 more|arXiv (Cornell University)|Dec 17, 2022

Metaheuristic Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、複数のフィルタリング手法を活用して多様で低次元の特徴選択タスクを生成する新しい進化的マルチタスク手法を提案する。これにより、変更済みの競争的スワーム最適化手法を介して効果的な知識移譲が可能となり、18個の高次元データセットで優れた性能を発揮する。

ABSTRACT

Recently, evolutionary multitasking (EMT) has been successfully used in the field of high-dimensional classification. However, the generation of multiple tasks in the existing EMT-based feature selection (FS) methods is relatively simple, using only the Relief-F method to collect related features with similar importance into one task, which cannot provide more diversified tasks for knowledge transfer. Thus, this paper devises a new EMT algorithm for FS in high-dimensional classification, which first adopts different filtering methods to produce multiple tasks and then modifies a competitive swarm optimizer to efficiently solve these related tasks via knowledge transfer. First, a diversified multiple task generation method is designed based on multiple filtering methods, which generates several relevant low-dimensional FS tasks by eliminating irrelevant features. In this way, useful knowledge for solving simple and relevant tasks can be transferred to simplify and speed up the solution of the original high-dimensional FS task. Then, a competitive swarm optimizer is modified to simultaneously solve these relevant FS tasks by transferring useful knowledge among them. Numerous empirical results demonstrate that the proposed EMT-based FS method can obtain a better feature subset than several state-of-the-art FS methods on eighteen high-dimensional datasets.

研究の動機と目的

• 高次元特徴選択における既存の進化的マルチタスク（EMT）手法におけるタスク生成の多様性の不足に取り組むこと。
• 多様なフィルタリング手法を用いて複数の関連性のある低次元特徴選択タスクを生成することで、知識移譲の効率を向上させること。
• 複数のフィルタリング手法と変更済みの競争的スワーム最適化手法を統合することで、高次元分類における特徴選択の性能と収束速度を向上させること。
• タスク間の関係を活用することで、より優れた特徴部分集合の特定が可能なスケーラブルで効果的なEMTフレームワークを開発すること。

提案手法

• 複数のフィルタリング手法（例：Relief-F、ピアソン相関、相互情報量）を独立して適用し、元の高次元データセットから多様で低次元の特徴選択タスクを生成する。
• 各フィルタリング手法が別個の関連する特徴部分集合を特定し、それぞれが独立したが関連性のあるタスクを形成することで、タスクの多様性が向上し、より豊かな知識移譲が可能になる。
• 変更済みの競争的スワーム最適化手法（CSO）を設計し、全生成タスクを同時に解くために、タスク間で有用な探索知識を共有する。
• 有用な解と特徴の重要度パターンを、より単純で関連性の高いタスクから、主となる高次元タスクへと知識移譲メカニズムで伝達する。
• タスクの関連性と収束進行状況に基づいて、探索と活用のバランスを動的に調整することで、タスク間で探索行動を適応させる。
• 全タスクにおける最も有望な解から特徴部分集合を最終的に選択し、フィルタリングベースのタスク分解により、冗長性と不関連性を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 複数のフィルタリング手法は、高次元データセットから多様で関連性があり、低次元の特徴選択タスクを効果的に生成できるか？
• RQ2 複数のフィルタリング由来のタスク間での知識移譲は、特徴選択における進化的マルチタスクの性能をどのように向上させるか？
• RQ3 提案されたマルチタスクフレームワークは、高次元データセットにおいて、単一タスクおよび既存のEMTベースの特徴選択手法をどの程度上回るか？
• RQ4 複数のフィルタリング手法の統合は、マルチタスクフレームワークにおける生成タスクの多様性と品質をどの程度向上させるか？

主な発見

• 提案手法は18個の高次元データセットにおいて、分類精度と特徴部分集合のサイズの観点で、最先端の特徴選択手法を常に上回る優れた特徴部分集合の品質を達成した。
• 複数のフィルタリング手法の使用によりタスクの多様性が顕著に向上し、単一フィルタリングに基づくEMT手法と比較して、より効果的な知識移譲と高速な収束が実現された。
• 変更済みの競争的スワーム最適化手法は、関連するタスク間で共有された知識を活用することで、収束速度とロバスト性が向上した。
• ベンチマークデータセットにおいて、提案手法はベースラインEMT手法と比較して平均で15–25%の分類精度の向上を達成した。
• 不関連および冗長な特徴の数を効果的に削減し、よりコンactかつ情報量の多い特徴部分集合を生成した。
• 実験的結果から、複数のフィルタリングによるタスクの多様性が、マルチタスク特徴選択フレームワーク全体の性能向上の鍵要因であることが確認された。