[論文レビュー] Higher Order Mutual Information Approximation for Feature Selection

Jilin Wu, Soumyajit Gupta+1 more|arXiv (Cornell University)|Dec 2, 2016

Face and Expression Recognition参考文献 21被引用数 3

ひとこと要約

本稿では、逐次ICAを用いた高次相互情報量の近似により、特徴選択における相乗的特徴サブセットの発見を可能にする情報理論的手法であるHigher Order Feature Selection (HOFS) を提案する。この手法は、1次近似に依存する従来手法の限界を克服し、特徴間の相関関係をより正確に捉える。計算複雑性が類似したまま、従来手法を上回る性能を発揮する。

ABSTRACT

Feature selection is a process of choosing a subset of relevant features so that the quality of prediction models can be improved. An extensive body of work exists on information-theoretic feature selection, based on maximizing Mutual Information (MI) between subsets of features and class labels. The prior methods use a lower order approximation, by treating the joint entropy as a summation of several single variable entropies. This leads to locally optimal selections and misses multi-way feature combinations. We present a higher order MI based approximation technique called Higher Order Feature Selection (HOFS). Instead of producing a single list of features, our method produces a ranked collection of feature subsets that maximizes MI, giving better comprehension (feature ranking) as to which features work best together when selected, due to their underlying interdependent structure. Our experiments demonstrate that the proposed method performs better than existing feature selection approaches while keeping similar running times and computational complexity.

研究の動機と目的

• 従来の特徴選択手法における1次相互情報量近似の限界を解消し、特徴間の多項的相互作用を捉えること。
• 単一の特徴ではなく、クラスラベルとの相互情報量を統合的に最大化する特徴サブセットを同定すること。
• 最先端の手法と同等の計算効率を維持しつつ、モデルの解釈可能性と予測精度を向上させること。
• 実世界の特徴選択シナリオにおいて、数値的および非数値的特徴を効果的に処理できること。
• 特徴サブセットの集団的情報量増加に基づいて順位付けすることで、特徴依存関係の包括的理解を提供すること。

提案手法

• HOFSは、特徴空間のICAに基づく分解を用いて、高次相互情報量を逐次ICAにより近似する。
• 1次近似で特徴の独立性を仮定するのではなく、HOFSは特徴空間の結合エントロピーをI成分解によりモデル化する。
• グリーディ選択戦略を用いて、特徴サブセットとクラスラベルとの間の相互情報量を最大化する形で、段階的に特徴サブセットを構築する。
• 特徴サブセットは、そのグローバル相互情報量増加に基づいて順位付けされ、個々の特徴よりも優れた相乗的効果を示す組み合わせを特定可能となる。
• アルゴリズムはICAを統合して特徴の結合分布を推定し、正確な高次MI計算の計算的に不可能な問題を回避する。
• HOFSは計算効率に優れ、時間計算量が既存のフィルタベース手法と同等であり、高次元データセットへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 高次相互情報量の近似により、特徴間の相乗的相互作用を捉えることで、特徴選択の性能が向上するか？
• RQ2 冗長または相関のある特徴が存在する状況において、HOFSは1次MIに基づく手法と比較して、関連する特徴サブセットを適切に特定できるか？
• RQ3 数値的および非数値的特徴が混在する異種データセットに対しても、HOFSは有効に機能し、元の特徴構造を保持できるか？
• RQ4 高次依存関係をモデル化しているにもかかわらず、HOFSは既存の手法と同等の計算効率を維持できるか？
• RQ5 HOFSは、予測に寄与する特徴の組み合わせを明らかにすることで、モデルの解釈性をどの程度向上できるか？

主な発見

• HOFSは、クラスラベルと統合的に相互情報量を最大化する特徴サブセットを効果的に同定し、1次MI手法に比べて複雑な依存関係をより正確に捉える。
• 相関および冗長な特徴を含む合成データにおいて、HOFSは{F₁, F₆, F₂, F₇} および {F₉, F₄, F₁₄, F₁₀, F₅, F₁₅} のような特徴群を正しくグループ化し、真の構造を反映する。
• 非線形的かつ異種的条件下で失敗するVMIとは異なり、HOFSはロバストな性能を維持し、特徴がバイアスやノイズを含んでも的確に情報量の多い特徴グループを同定する。
• 実行時間と計算複雑性がベースライン手法と同等である一方で、予測性能は上回る。
• 非数値的特徴を効果的に処理し、合成データにおける構造的関係を保持する。特徴グループに基づくラベルの適切な分離が確認された。
• 異種合成モデルにおいて、HOFSは特徴サブセットの順位付きリストを生成し、上位サブセットは高い情報量増加を示す。特に最初のサブセットは、グランドトゥースとほぼ一致する約0.110のグローバルMI増加を達成した。