[論文レビュー] Improving Mutual Information based Feature Selection by Boosting Unique Relevance

Shiyu Liu, Mehul Motani|arXiv (Cornell University)|Dec 9, 2022

Machine Learning and Data Classification被引用数 7

ひとこと要約

本稿では、最大関連性最小再冗長性（MRwMR）フレームワークを、独自関連性（UR）を明示的に強化することで改善する、新たな相互情報量ベース特徴選択基準であるMRwMR-BURを提案する。KSGまたは分類器ベース手法によるUR推定を統合することで、MRwMRに比べて冗長特徴を25–30%削減し、テスト精度を2–3%向上させるが、アルゴリズムの計算複雑性に変化は生じない。

ABSTRACT

Mutual Information (MI) based feature selection makes use of MI to evaluate each feature and eventually shortlists a relevant feature subset, in order to address issues associated with high-dimensional datasets. Despite the effectiveness of MI in feature selection, we notice that many state-of-the-art algorithms disregard the so-called unique relevance (UR) of features, and arrive at a suboptimal selected feature subset which contains a non-negligible number of redundant features. We point out that the heart of the problem is that all these MIBFS algorithms follow the criterion of Maximize Relevance with Minimum Redundancy (MRwMR), which does not explicitly target UR. This motivates us to augment the existing criterion with the objective of boosting unique relevance (BUR), leading to a new criterion called MRwMR-BUR. Depending on the task being addressed, MRwMR-BUR has two variants, termed MRwMR-BUR-KSG and MRwMR-BUR-CLF, which estimate UR differently. MRwMR-BUR-KSG estimates UR via a nearest-neighbor based approach called the KSG estimator and is designed for three major tasks: (i) Classification Performance. (ii) Feature Interpretability. (iii) Classifier Generalization. MRwMR-BUR-CLF estimates UR via a classifier based approach. It adapts UR to different classifiers, further improving the competitiveness of MRwMR-BUR for classification performance oriented tasks. The performance of both MRwMR-BUR-KSG and MRwMR-BUR-CLF is validated via experiments using six public datasets and three popular classifiers. Specifically, as compared to MRwMR, the proposed MRwMR-BUR-KSG improves the test accuracy by 2% - 3% with 25% - 30% fewer features being selected, without increasing the algorithm complexity. MRwMR-BUR-CLF further improves the classification performance by 3.8%- 5.5% (relative to MRwMR), and it also outperforms three popular classifier dependent feature selection methods.

研究の動機と目的

• 既存の相互情報量ベース特徴選択（MIBFS）アルゴリズムが、最適な特徴サブセットに必要な条件である独自関連性（UR）を無視しているという、性能の劣化を是正すること。
• 標準的なMRwMR基準がURを明示的にターゲットとしないことにより、冗長な特徴選択が生じ、性能が低下することを特定すること。
• 独自関連性を特徴選択の目的関数に明示的に組み込むことで、関連性、解釈可能性、汎化性能を向上させる新しい基準MRwMR-BURを提案すること。
• 分類、解釈可能性、汎化性能を最適化する目的に応じた2つの変種、MRwMR-BUR-KSG（KSG推定）およびMRwMR-BUR-CLF（分類器ベースUR推定）を提案すること。
• MRwMR-BURがMRwMRおよび既存の分類器依存手法を上回ることを検証し、精度、特徴数の削減、クロス分類器における汎化性能の観点で優れた性能を示すこと。

提案手法

• 独自関連性（UR）が高く、かつ条件付き相互情報量 I(X_k; Y | Ω\X_k) > 0 である特徴を優先するβ重み付き項を追加することで、MRwMRを拡張したMRwMR-BUR基準を導入する。
• MRwMR-BUR-KSGでは、近隣探索に基づくUR推定にKSG推定法を採用し、汎用的な特徴選択に適している。
• MRwMR-BUR-CLFでは、分類器ベースのアプローチを用いてURを推定し、分類タスクに特化した性能向上を図る。
• アルゴリズム構造を変更せずにスコア関数を修正することで、MRwMRと同等の計算複雑性を維持する。
• MIM、mRMR、JMI、JMIM、GSAなどの既存MIBFSアルゴリズムに、MRwMR-BURのUR拡張目的関数を導入し、関連性と冗長性のトレードオフを置き換える。
• 関連性と独自関連性のバランスを取るためにハイパーパrameter βを調整し、実験的検証により複数のデータセットでβ = 0.1が最適な性能を示すことが判明した。

実験結果

リサーチクエスチョン

• RQ1 相互情報量ベース特徴選択において独自関連性（UR）を無視することは、冗長な特徴を含む性能の劣化した特徴サブセットを生じさせるか？
• RQ2 新たな基準MRwMR-BURにより独自関連性を明示的に強化することで、分類精度の向上、特徴数の削減、モデルの汎化性能の向上が達成できるか？
• RQ3 MRwMR-BUR-KSGおよびMRwMR-BUR-CLFは、多様なデータセットと分類器において、MRwMRおよび他の最先端MIBFS手法を上回る性能を示すか？
• RQ4 提案手法は、分類性能、特徴の解釈可能性、分類器の汎化性能という多様な評価基準において有効であるか？
• RQ5 MRwMR-BUR基準におけるβの最適値は何か？また、関連性と冗長性のトレードオフにどのように影響を与えるか？

主な発見

• MRwMR-BUR-KSGは、6つの公開データセットにおいてMRwMRに比べてテスト精度を2%–3%向上させるとともに、選択された特徴数を25%–30%削減した。
• MRwMR-BUR-CLFは、MRwMRに比べて分類性能を3.8%–5.5%向上させ、分類タスクにおける優れた競争力を示した。
• MRwMR-BUR-CLFは、RFE、FFS、BFEの3つの代表的分類器依存特徴選択手法に比べ、テスト精度と特徴効率の両面で優れた性能を示した。
• MRwMRと同等のアルゴリズム的複雑性を維持しているため、高次元データセットへのスケーラビリティと実用性に優れている。
• 関連性と独自関連性のバランスを取るための最適なβ値は、実験的に0.1であると特定され、複数のデータセットおよび分類器で一貫した性能を示した。
• MRwMR-BURは、独自関連性がより高い特徴のより正確なサブセットを選択することで、特徴とラベルの関係の理解を深めるための解釈可能性を向上させた。