[论文解读] Fast Estimation of Information Theoretic Learning Descriptors using Explicit Inner Product Spaces

Kan Li, José C. Prı́ncipe|arXiv (Cornell University)|Jan 1, 2020

Advanced Adaptive Filtering Techniques参考文献 29被引用 6

一句话总结

该论文提出显式内积空间（EIPS）核，通过利用数据无关的有限维特征映射，实现信息论学习（ITL）描述符（如信息势能和相关性）的快速、可扩展且高精度估计。该方法实现恒定的计算复杂度，在速度上优于传统核方法，同时保持高精度，尤其适用于大规模和流式数据应用。

ABSTRACT

Kernel methods form a theoretically-grounded, powerful and versatile framework to solve nonlinear problems in signal processing and machine learning. The standard approach relies on the \emph{kernel trick} to perform pairwise evaluations of a kernel function, leading to scalability issues for large datasets due to its linear and superlinear growth with respect to the training data. Recently, we proposed \emph{no-trick} (NT) kernel adaptive filtering (KAF) that leverages explicit feature space mappings using data-independent basis with constant complexity. The inner product defined by the feature mapping corresponds to a positive-definite finite-rank kernel that induces a finite-dimensional reproducing kernel Hilbert space (RKHS). Information theoretic learning (ITL) is a framework where information theory descriptors based on non-parametric estimator of Renyi entropy replace conventional second-order statistics for the design of adaptive systems. An RKHS for ITL defined on a space of probability density functions simplifies statistical inference for supervised or unsupervised learning. ITL criteria take into account the higher-order statistical behavior of the systems and signals as desired. However, this comes at a cost of increased computational complexity. In this paper, we extend the NT kernel concept to ITL for improved information extraction from the signal without compromising scalability. Specifically, we focus on a family of fast, scalable, and accurate estimators for ITL using explicit inner product space (EIPS) kernels. We demonstrate the superior performance of EIPS-ITL estimators and combined NT-KAF using EIPS-ITL cost functions through experiments.

研究动机与目标

• 为解决信息论学习（ITL）估计器的高计算成本问题，这些估计器由于需要计算完整的格拉姆矩阵，其计算复杂度随数据集大小呈超线性增长。
• 通过引入显式、有限维的特征映射来将无技巧（NT）核自适应滤波框架扩展至ITL，从而在不依赖隐式映射的情况下保持核属性。
• 开发一类基于显式内积空间（EIPS）核的快速、可扩展且高精度的ITL估计器，以提升信息提取能力。
• 证明EIPS-ITL估计器在保持高精度的同时，实现每轮迭代恒定的CPU时间，从而支持实时和流式应用。

提出的方法

• 该方法采用确定性（高斯-勒让德求积、泰勒级数）、随机（随机傅里叶特征）以及混合方法构建显式特征映射，以定义低秩Mercer核。
• 利用Mercer定理将核表示为正交基函数的有限和，确保核的正定性与数值稳定性。
• 通过在有限维特征空间中显式计算内积，实现信息势能（IP）和交叉信息势能（CIP）的计算，避免存储和计算完整的格拉姆矩阵。
• 该方法用显式特征映射替代标准核技巧，实现在每轮迭代中与数据集大小无关的常数时间计算。
• 通过在核自适应滤波（KAF）中使用EIPS-ITL代价函数（如最大相关性与最小误差熵），将该框架与KAF集成。
• 通过全双求和IP估计与单求和随机信息梯度（SIG）近似相结合，验证了方法的效率。

实验结果

研究问题

• RQ1 能否使用显式内积空间（EIPS）核实现信息势能和相关性等ITL描述符的快速且可扩展的估计？
• RQ2 与传统核方法相比，所提出的EIPS-ITL框架是否在降低计算复杂度的同时保持了高精度？
• RQ3 在在线和流式设置下，EIPS-ITL估计器的计算复杂度如何随数据集规模增长而变化？
• RQ4 EIPS-ITL能否有效集成到核自适应滤波（KAF）算法中，以提升性能与可扩展性？

主要发现

• EIPS-ITL估计器实现了每轮迭代恒定的CPU时间，与传统核方法的（超）线性增长形成鲜明对比，使其特别适合大规模和流式数据应用。
• 基于EIPS的NT-KMCC与NT-KMEE算法在速度上显著优于标准KAF（KLMS、KMCC）和稀疏化KAF（QKMCC），且在所有迭代中均保持常数时间复杂度。
• 采用四阶泰勒级数展开（TS）的NT-KMEE算法性能与线性MEE-SIG相当，但计算成本远低于核SIG方法。
• EIPS-ITL中直接的全信息势能（双求和）计算运行时间最高，但仍保持常数复杂度，而传统方法的时间随数据集规模增长而增加。
• EIPS框架在不牺牲可扩展性的前提下，实现了通过ITL准则对高阶统计量的精确估计，展现出在速度和收敛行为方面的卓越性能。