[论文解读] An Information Geometric Framework for Dimensionality Reduction

Kevin M. Carter, Raviv Raich+1 more|ArXiv.org|Sep 29, 2008

Neural Networks and Applications参考文献 19被引用 4

一句话总结

本文提出了一种信息几何框架，通过将高维数据建模为统计流形上的概率分布，利用信息论距离（如 Hellinger 距离和 Fisher-Rao 度量）来保持内在结构，实现降维。该方法既能通过多维尺度分析（MDS）重建统计流形，也能在保持相似性关系的同时实现数据域的降维，并提供了距离单调性的理论保证，同时采用约束梯度下降法实现正交投影。

ABSTRACT

This report concerns the problem of dimensionality reduction through information geometric methods on statistical manifolds. While there has been considerable work recently presented regarding dimensionality reduction for the purposes of learning tasks such as classification, clustering, and visualization, these methods have focused primarily on Riemannian manifolds in Euclidean space. While sufficient for many applications, there are many high-dimensional signals which have no straightforward and meaningful Euclidean representation. In these cases, signals may be more appropriately represented as a realization of some distribution lying on a statistical manifold, or a manifold of probability density functions (PDFs). We present a framework for dimensionality reduction that uses information geometry for both statistical manifold reconstruction as well as dimensionality reduction in the data domain.

研究动机与目标

• 解决传统欧几里得流形学习在数据缺乏自然低维欧几里得表示时的局限性。
• 开发一种直接作用于概率密度函数（PDF）统计流形上的降维框架，而非欧几里得数据点。
• 在将高维数据 PDF 嵌入低维空间以实现可视化和特征选择时，保持其内在相似性关系。
• 为边际化下的距离单调性提供理论基础，确保信息论度量的鲁棒性。
• 引入一种使用正交梯度下降的约束优化方法，以在嵌入过程中保持投影正交性。

提出的方法

• 将高维数据建模为潜在概率密度函数（PDF）的实现，形成由自然参数参数化的统计流形。
• 使用信息几何距离——特别是 PDF 之间的 Hellinger 距离和 Fisher-Rao 度量——作为统计流形上差异性的内在度量。
• 在成对信息几何距离矩阵上应用多维尺度分析（MDS），将统计流形嵌入低维欧几里得空间。
• 制定一种数据域降维方法，以在低维子空间中保持 PDF 的相似性结构，从而支持可视化和变量选择。
• 通过拉格朗日乘子和泰勒级数近似，推导出带有正交性约束的约束梯度下降算法，以强制投影矩阵保持正交。
• 利用对数导数计算变换矩阵 $ T = f/(f+g) $ 的梯度，以支持信息几何框架中的优化。

实验结果

研究问题

• RQ1 统计流形上的信息几何距离是否能为具有非欧几里得结构的高维数据提供比欧几里得距离更稳健且更有意义的替代方案？
• RQ2 在数据域中降维时，所提出的框架是否能保持数据 PDF 之间的内在相似性关系？
• RQ3 信息几何距离在边际化下如何表现？这一性质能否被利用以确保降维过程中的单调性？
• RQ4 在保持正交性并保留几何结构的前提下，将高维数据投影到低维子空间的有效优化策略是什么？
• RQ5 该框架能否应用于基因芯片和流式细胞术等真实世界数据，其中数据自然地以分布形式出现而非向量？

主要发现

• 联合 PDF 之间的平方 Hellinger 距离始终大于或等于其边缘分布之间的平方 Hellinger 距离，证明了信息几何距离在边际化下具有单调性。
• 基于信息几何距离的 MDS 嵌入方法成功地在低维欧几里得空间中重建了底层统计流形，同时保持了内在结构。
• 带有正交性约束的约束梯度下降方法确保了优化过程中投影矩阵始终保持正交，从而维持了嵌入的几何完整性。
• 通过拉格朗日乘子矩阵的零阶和一阶泰勒展开项近似正交性约束下的梯度，得到了稳定且有效的优化步骤。
• 以对数导数形式推导出的变换矩阵 $ T = f/(f+g) $ 的梯度，使得信息几何框架中的优化更加高效。
• 该框架在理论上是严谨的，且适用于基因芯片和流式细胞术等高维数据类型，其中数据自然地被建模为概率分布。