[论文解读] Direct Estimation of the Derivative of Quadratic Mutual Information with Application in Supervised Dimension Reduction

Voot Tangkaratt, Hiroaki Sasaki+1 more|arXiv (Cornell University)|Aug 5, 2015

Advanced Statistical Methods and Models参考文献 17被引用 4

一句话总结

该论文提出了一种二次互信息（QMI）导数的直接估计方法，以改进监督维数约简，避免了从QMI估计中推导导数所带来的不准确性。该方法实现了稳健、分布无关的维数约简，在异常值鲁棒性和准确性方面优于现有方法，尤其在噪声较大或高维数据上表现更优。

ABSTRACT

A typical goal of supervised dimension reduction is to find a low-dimensional subspace of the input space such that the projected input variables preserve maximal information about the output variables. The dependence maximization approach solves the supervised dimension reduction problem through maximizing a statistical dependence between projected input variables and output variables. A well-known statistical dependence measure is mutual information (MI) which is based on the Kullback-Leibler (KL) divergence. However, it is known that the KL divergence is sensitive to outliers. On the other hand, quadratic MI (QMI) is a variant of MI based on the $L_2$ distance which is more robust against outliers than the KL divergence, and a computationally efficient method to estimate QMI from data, called least-squares QMI (LSQMI), has been proposed recently. For these reasons, developing a supervised dimension reduction method based on LSQMI seems promising. However, not QMI itself, but the derivative of QMI is needed for subspace search in supervised dimension reduction, and the derivative of an accurate QMI estimator is not necessarily a good estimator of the derivative of QMI. In this paper, we propose to directly estimate the derivative of QMI without estimating QMI itself. We show that the direct estimation of the derivative of QMI is more accurate than the derivative of the estimated QMI. Finally, we develop a supervised dimension reduction algorithm which efficiently uses the proposed derivative estimator, and demonstrate through experiments that the proposed method is more robust against outliers than existing methods.

研究动机与目标

• 解决监督维数约简中依赖QMI估计导数的局限性，即使QMI估计准确，其导数也可能不准确。
• 开发一种直接估计QMI导数的方法，无需先估计QMI本身，从而提高估计精度。
• 设计一种适用于高维和异常值敏感数据的稳健、分布无关的监督维数约简算法。
• 通过交叉验证实现超参数的客观调优，提升实际应用性。
• 通过大量实验证明该方法在存在异常值的情况下优于现有方法，性能更优。

提出的方法

• 基于$L_2$-距离的最小二乘公式，提出一种避免中间QMI估计的QMI导数直接估计器。
• 利用基于核的估计器和再生核定理，推导出QMI导数的解析表达式，实现高效计算。
• 设计一种固定点迭代算法，利用直接导数估计器搜索最优低维子空间。
• 集成交叉验证以客观选择调优参数，确保方法的稳健性和泛化能力。
• 在下游预测中使用带有高斯核的核岭回归，通过测试数据的RMSE评估性能。
• 将优化问题表述为最大化QMI关于投影子空间的导数，从而支持基于梯度的搜索。

实验结果

研究问题

• RQ1 与计算估计QMI的导数相比，QMI导数的直接估计是否能获得更高的准确性？
• RQ2 所提出的直接导数估计器在准确性和鲁棒性方面，与间接方法（如LSQMI的导数）相比如何？
• RQ3 所提出的监督维数约简方法在异常值污染的数据集上是否优于现有最先进方法？
• RQ4 直接导数估计器是否能够高效计算，并成功集成到子空间学习的迭代优化框架中？
• RQ5 该方法在添加噪声特征的多样化基准数据集上，性能保持程度如何？

主要发现

• 在高噪声或异常值敏感的环境下，QMI的直接导数估计器在准确性方面显著优于估计QMI的导数。
• 在'Concrete'数据集（含50%噪声特征）上，该方法在维度为1时达到最低RMSE 0.582(0.006)，优于LSQMI和dMAVE。
• 在'Bike'数据集上，该方法在维度为1时达到最低RMSE 0.036(0.005)，显著优于LSQMI和KDR。
• 该方法在所有基准数据集上均表现出一致的鲁棒性，在'Fertility'和'Concrete'数据集上的平均RMSE最低，优于LSDR、KDR和dMAVE。
• 在'dimensionality 1'时，'Breast-cancer'数据集上该方法表现最佳，RMSE为0.375(0.007)，优于LSQMI和dMAVE。
• 使用直接导数估计器的固定点迭代算法收敛稳定且高效，实现了有效的子空间搜索，且无需依赖分布假设。