[论文解读] Higher Order Mutual Information Approximation for Feature Selection

Jilin Wu, Soumyajit Gupta+1 more|arXiv (Cornell University)|Dec 2, 2016

Face and Expression Recognition参考文献 21被引用 3

一句话总结

本文提出高阶特征选择（HOFS），一种基于信息论的方法，通过使用增量独立成分分析（ICA）近似高阶互信息，提升特征选择性能，从而发现协同作用的特征子集，而非依赖一阶近似。HOFS在捕捉特征间依赖关系方面优于现有方法，同时保持相近的计算复杂度。

ABSTRACT

Feature selection is a process of choosing a subset of relevant features so that the quality of prediction models can be improved. An extensive body of work exists on information-theoretic feature selection, based on maximizing Mutual Information (MI) between subsets of features and class labels. The prior methods use a lower order approximation, by treating the joint entropy as a summation of several single variable entropies. This leads to locally optimal selections and misses multi-way feature combinations. We present a higher order MI based approximation technique called Higher Order Feature Selection (HOFS). Instead of producing a single list of features, our method produces a ranked collection of feature subsets that maximizes MI, giving better comprehension (feature ranking) as to which features work best together when selected, due to their underlying interdependent structure. Our experiments demonstrate that the proposed method performs better than existing feature selection approaches while keeping similar running times and computational complexity.

研究动机与目标

• 为解决现有特征选择方法中一阶互信息近似带来的局限性，这些方法无法捕捉多维特征交互关系。
• 开发一种方法，识别特征子集（而非单个特征），使其与类别标签的联合互信息最大化。
• 在提升模型可解释性和预测准确性的前提下，保持与最先进方法相当的计算效率。
• 在真实世界特征选择场景中，有效处理异构数据类型（数值型与非数值型特征）。
• 通过基于集体信息增益对特征子集进行排序，提供对特征依赖关系的更全面理解。

提出的方法

• HOFS使用增量独立成分分析（ICA）来近似高阶互信息，捕捉特征之间的复杂依赖关系。
• 与一阶近似中假设特征独立不同，HOFS通过ICA对特征空间进行分解，建模联合熵。
• 该方法通过贪心选择策略，逐步构建特征子集，以最大化子集与类别标签之间的互信息。
• 基于其全局互信息增益对特征子集进行排序，从而识别出表现优于单个特征的协同组合。
• 算法整合ICA以估计特征的联合分布，避免精确计算高阶互信息带来的计算不可行性。
• HOFS设计为计算高效，时间复杂度与现有基于过滤的特征选择方法相当，可扩展至高维数据集。

实验结果

研究问题

• RQ1 通过捕捉特征之间的协同作用，高阶互信息近似是否能提升特征选择性能？
• RQ2 在存在冗余或相关特征的情况下，HOFS与基于一阶互信息的方法相比，在识别相关特征子集方面表现如何？
• RQ3 HOFS能否在混合数值型与非数值型特征的异构数据集中有效工作，同时保持底层特征结构？
• RQ4 尽管建模了高阶依赖关系，该方法是否仍能保持与现有方法相当的计算效率？
• RQ5 HOFS在揭示联合贡献于预测的特征组合方面，能在多大程度上提升模型的可解释性？

主要发现

• HOFS成功识别出与类别标签联合互信息最大的特征子集，在捕捉复杂依赖关系方面优于一阶互信息方法。
• 在具有相关性和冗余特征的合成数据中，HOFS正确识别出特征组{F₁, F₆, F₂, F₇}和{F₉, F₄, F₁₄, F₁₀, F₅, F₁₅}，反映出其真实的潜在结构。
• 与VMI（在非线性和异构条件下失效）相比，HOFS保持稳健性能，即使在特征存在偏差或噪声时，也能正确识别出信息丰富的特征组。
• HOFS在保持相似运行时间与计算复杂度的同时，实现了优于基线方法的预测性能。
• 该方法有效处理非数值型特征，并在合成数据中保持结构关系，表现为基于特征分组的类别标签正确分离。
• 在异构合成模型中，HOFS生成了按信息增益排序的特征子集列表，其中前几位子集表现出高信息增益，首个子集的全局互信息增益约为0.110，与真实值高度吻合。