[论文解读] A Rigorous Information-Theoretic Definition of Redundancy and Relevancy in Feature Selection Based on (Partial) Information Decomposition

Patricia Wollstadt, Sebastian Schmitt+1 more|arXiv (Cornell University)|May 10, 2021

Neural Networks and Applications被引用 9

一句话总结

本文提出了一种基于部分信息分解（PID）的严格信息论框架，用于特征选择，通过唯一性、冗余性和协同性信息贡献来定义冗余性和相关性。提出了一种基于条件互信息（CMI）的迭代前向选择算法，以最小化冗余并最大化相关性，并通过统计验证的停止准则在基准数据集上表现出优越性能。

ABSTRACT

Selecting a minimal feature set that is maximally informative about a target variable is a central task in machine learning and statistics. Information theory provides a powerful framework for formulating feature selection algorithms -- yet, a rigorous, information-theoretic definition of feature relevancy, which accounts for feature interactions such as redundant and synergistic contributions, is still missing. We argue that this lack is inherent to classical information theory which does not provide measures to decompose the information a set of variables provides about a target into unique, redundant, and synergistic contributions. Such a decomposition has been introduced only recently by the partial information decomposition (PID) framework. Using PID, we clarify why feature selection is a conceptually difficult problem when approached using information theory and provide a novel definition of feature relevancy and redundancy in PID terms. From this definition, we show that the conditional mutual information (CMI) maximizes relevancy while minimizing redundancy and propose an iterative, CMI-based algorithm for practical feature selection. We demonstrate the power of our CMI-based algorithm in comparison to the unconditional mutual information on benchmark examples and provide corresponding PID estimates to highlight how PID allows to quantify information contribution of features and their interactions in feature-selection problems.

研究动机与目标

• 为解决信息论中关于如何严格定义特征选择中特征相关性、冗余性和协同性的概念空白。
• 阐明传统信息论特征选择方法为何无法考虑特征间的相互作用。
• 基于部分信息分解（PID）提出一种新颖的信息论基础的特征相关性和冗余性定义。
• 提出一种实用的、基于CMI的迭代前向特征选择算法，并结合统计显著性检验实现自动停止。
• 在基准数据集上展示该算法的有效性，并与基于互信息（MI）和基于模型的方法（LARS、随机森林）进行比较。

提出的方法

• 使用部分信息分解（PID）将一组特征关于目标变量提供的信息分解为唯一性、冗余性和协同性成分。
• 将特征相关性定义为最大化唯一性和协同性信息贡献，同时最小化冗余贡献。
• 提出一种基于条件互信息（CMI）的迭代前向选择算法，依次将CMI最高的特征添加到当前特征集。
• 采用非参数统计检验程序，利用置换数据评估CMI的显著性，通过最大统计量方法控制家庭错误率。
• 采用基于置换CMI估计最小值的后向剔除步骤，以确保选择最小特征集。
• 使用基于置换的置换数据生成方法，在保持边缘分布的同时，在原假设下破坏联合依赖关系。

实验结果

研究问题

• RQ1 如何利用信息论严格定义特征选择中的冗余性和相关性？
• RQ2 为何经典信息论方法无法捕捉特征间的协同性和冗余性相互作用？
• RQ3 基于CMI的特征选择算法是否能通过显式最小化冗余性而优于基于MI的方法？
• RQ4 所提出的算法如何确保最小且具有统计显著性的特征集？
• RQ5 PID度量在多大程度上能量化特征在特征选择中各自独特、冗余和协同角色？

主要发现

• 在包含50个变量和N=1000个样本的问题中，CMI-based算法正确识别出10个相关特征中的5个；在更大样本N=50,000时，识别出10个中的9个。
• 在较小样本量（N=100）下，由于统计功效不足，算法提前终止，导致假阴性率升高，但假阳性率始终低于0.05的显著性阈值。
• 使用置换数据和最大统计量方法，在顺序特征选择的多次检验迭代中有效控制了家庭错误率。
• PID估计显示，CMI-based选择仅覆盖信息原子一次，避免了冗余覆盖，从而能够捕捉高阶相互作用。
• CMI-based方法在识别相关特征方面始终优于无条件互信息（MI），尤其是在存在冗余或协同特征相互作用时。
• 该算法在大规模问题中表现出鲁棒性和可靠性，且随着样本量增加，性能显著提升。