[论文解读] Multivariate Extension of Matrix-based Renyi's \alpha-order Entropy Functional

Shujian Yu, Luis G. Sánchez Giraldo+2 more|arXiv (Cornell University)|Aug 23, 2018

Remote-Sensing Image Classification参考文献 45被引用 5

一句话总结

该论文将基于矩阵的Rényi α阶微分熵泛函扩展至多变量设置，实现了无需概率密度估计即可直接从数据中估计联合熵及多变量信息量（如交互信息和总相关性）。该方法在高光谱成像的特征选择中表现出稳定、准确且可解释性强，优于现有技术，在波段选择一致性和分类均匀性方面表现更优。

ABSTRACT

The matrix-based Renyi's \alpha-order entropy functional was recently introduced using the normalized eigenspectrum of a Hermitian matrix of the projected data in a reproducing kernel Hilbert space (RKHS). However, the current theory in the matrix-based Renyi's \alpha-order entropy functional only defines the entropy of a single variable or mutual information between two random variables. In information theory and machine learning communities, one is also frequently interested in multivariate information quantities, such as the multivariate joint entropy and different interactive quantities among multiple variables. In this paper, we first define the matrix-based Renyi's \alpha-order joint entropy among multiple variables. We then show how this definition can ease the estimation of various information quantities that measure the interactions among multiple variables, such as interactive information and total correlation. We finally present an application to feature selection to show how our definition provides a simple yet powerful way to estimate a widely-acknowledged intractable quantity from data. A real example on hyperspectral image (HSI) band selection is also provided.

研究动机与目标

• 将基于矩阵的Rényi α阶微分熵扩展至多个随机变量的多变量联合熵。
• 实现对交互信息和总相关性等复杂多变量信息量的高效估计。
• 提供一种数据驱动、无需PDF估计的特征选择方法，避免近似或分解。
• 在真实世界性能提升的前提下，展示该方法在高光谱图像波段选择中的有效性。

提出的方法

• 通过再生核希尔伯特空间（RKHS）中Gram矩阵的归一化特征谱，引入基于矩阵的多变量Rényi α阶联合熵定义。
• 利用核技巧将数据映射到RKHS，避免显式估计PDF。
• 直接从Gram矩阵的特征值定义多变量交互度量（如交互信息、总相关性）。
• 通过基于信息论贡献度对特征进行排序，将该方法应用于特征选择。
• 采用基于核的方法估计熵和互信息，无需密度估计。
• 使用总体精度（OA）和平均精度（AA）等指标，在高光谱图像数据上验证该方法。

实验结果

研究问题

• RQ1 如何将基于矩阵的Rényi α阶微分熵推广至多变量联合熵？
• RQ2 该多变量扩展能否实现对交互信息和总相关性等复杂信息量的准确且稳定估计？
• RQ3 与现有特征选择技术相比，该方法在稳定性和分类性能方面表现如何？
• RQ4 该方法能否在无需PDF估计的前提下，有效处理高维、连续且复杂的数据（如高光谱图像）？

主要发现

• 所提出的多变量矩阵形式Rényi α阶联合熵与二元定义一致，可直接估计多变量信息量。
• 在小规模训练样本集（如1%样本）下，该方法在总体精度（OA）和平均精度（AA）方面均显著优于JMI。
• 在10次独立运行中，所选波段保持稳定，关键波段（1, 25, 35, 57, 75, 89）在数据扰动下始终被一致选中。
• 分类图显示，尽管OA和AA值相近，与JMI相比，该方法在草地-牧场和大豆-洁净区域的分类结果更均匀。
• 所选波段在光谱范围内分布良好，减少了冗余性并增强了判别能力。
• 该方法在无需近似或分解的前提下，紧密逼近理想的互信息目标，展现出强大的理论与实证有效性。