[论文解读] Solving Interpretable Kernel Dimensionality Reduction

Chieh Wu, Jared Miller+3 more|arXiv (Cornell University)|Jan 1, 2019

Face and Expression Recognition被引用 11

一句话总结

本文将迭代谱方法（ISM）的理论保证扩展至一个广泛的核函数族，使ISM能够在多种学习范式下实现可解释核降维（IKDR）。通过证明该族中每个核函数均存在一个代理$Φ$矩阵，其主导特征向量可生成最优投影，该方法在保持可解释性的同时，实现了超越高斯核的高效、基于特征分解的优化。

ABSTRACT

Kernel dimensionality reduction (KDR) algorithms find a low dimensional representation of the original data by optimizing kernel dependency measures that are capable of capturing nonlinear relationships. The standard strategy is to first map the data into a high dimensional feature space using kernels prior to a projection onto a low dimensional space. While KDR methods can be easily solved by keeping the most dominant eigenvectors of the kernel matrix, its features are no longer easy to interpret. Alternatively, Interpretable KDR (IKDR) is different in that it projects onto a subspace extit{before} the kernel feature mapping, therefore, the projection matrix can indicate how the original features linearly combine to form the new features. Unfortunately, the IKDR objective requires a non-convex manifold optimization that is difficult to solve and can no longer be solved by eigendecomposition. Recently, an efficient iterative spectral (eigendecomposition) method (ISM) has been proposed for this objective in the context of alternative clustering. However, ISM only provides theoretical guarantees for the Gaussian kernel. This greatly constrains ISM's usage since any kernel method using ISM is now limited to a single kernel. This work extends the theoretical guarantees of ISM to an entire family of kernels, thereby empowering ISM to solve any kernel method of the same objective. In identifying this family, we prove that each kernel within the family has a surrogate $\Phi$ matrix and the optimal projection is formed by its most dominant eigenvectors. With this extension, we establish how a wide range of IKDR applications across different learning paradigms can be solved by ISM. To support reproducible results, the source code is made publicly available on \url{https://github.com/ANONYMIZED}.

研究动机与目标

• 解决ISM的局限性，即此前仅对高斯核具有理论保证，限制了其仅能用于单一核函数。
• 识别出一个广泛的核函数族，使得ISM可在此族上获得理论支持，从而使其可应用于多种核方法。
• 建立对于该族中每个核函数，均存在一个代理$Φ$矩阵，使得最优投影由其主导特征向量构成。
• 通过在核特征映射前投影至子空间，实现可解释核降维（IKDR），从而保持特征的可解释性。
• 通过公开发布基于ISM的IKDR实现源代码，确保结果的可复现性。

提出的方法

• 识别出一类可构造代理$Φ$矩阵的核函数，确保其存在低秩近似，适用于特征分解。
• 证明对于该族中每个核函数，IKDR的最优投影矩阵均由代理$Φ$矩阵的主导特征向量构成。
• 利用代理$Φ$矩阵的结构，将非凸的IKDR优化问题重述为一系列特征分解，实现高效计算。
• 将ISM算法扩展至可处理该族中任意核函数，同时保持收敛性和可解释性。
• 通过避免迭代非凸优化，转而依赖谱分解，确保方法的计算效率。
• 提供统一框架，使得该族中任意核函数的IKDR均可通过相同的谱方法求解。

实验结果

研究问题

• RQ1 ISM的理论保证能否超越高斯核，扩展至更广泛的核函数类别？
• RQ2 核函数需具备何种结构特性，才能使代理$Φ$矩阵的主导特征向量生成最优IKDR投影？
• RQ3 当ISM算法应用于非高斯核时，其是否仍能保持收敛性和最优性？
• RQ4 所提出的框架能否通过单一谱优化方法统一跨多种学习范式的IKDR？
• RQ5 代理$Φ$矩阵如何实现将非凸IKDR问题转化为可高效求解的特征分解问题？

主要发现

• ISM算法在整类核函数上均具有理论依据，而不仅限于高斯核，显著扩展了其适用范围。
• 该族中每个核函数均存在一个代理$Φ$矩阵，使得最优IKDR投影由$Φ$的主导特征向量构成。
• 所提出的方法通过预核投影实现可解释核降维，既保持了特征的可解释性，又能捕捉非线性关系。
• 该框架实现了对族中任意核函数的IKDR的高效、基于特征分解的优化，避免了昂贵的非凸优化过程。
• 该方法通过统一的谱优化流程，支持广泛的学习范式，实现不同核函数下IKDR的统一求解。
• 源代码已公开发布于https://github.com/ANONYMIZED，确保了结果的可复现性。