[论文解读] Dimensionality Reduction has Quantifiable Imperfections: Two Geometric Bounds

Kry Yik Chau Lui, Gavin Weiguang Ding+2 more|arXiv (Cornell University)|Oct 31, 2018

Topological and Geometric Data Analysis参考文献 7被引用 4

一句话总结

本文通过证明在信息检索中，任何连续的降维（DR）映射都无法同时实现完美精确率和完美召回率，建立了降维在维度缩减中的基本几何限制。本文引入了一种基于Wasserstein距离的新型性能度量，并给出了理论下界，推导出在Lipschitz连续性条件下的精确率指数衰减界，揭示了DR映射中连续性与单射性之间固有的权衡。

ABSTRACT

In this paper, we investigate Dimensionality reduction (DR) maps in an information retrieval setting from a quantitative topology point of view. In particular, we show that no DR maps can achieve perfect precision and perfect recall simultaneously. Thus a continuous DR map must have imperfect precision. We further prove an upper bound on the precision of Lipschitz continuous DR maps. While precision is a natural measure in an information retrieval setting, it does not measure `how' wrong the retrieved data is. We therefore propose a new measure based on Wasserstein distance that comes with similar theoretical guarantee. A key technical step in our proofs is a particular optimization problem of the $L_2$-Wasserstein distance over a constrained set of distributions. We provide a complete solution to this optimization problem, which can be of independent interest on the technical side.

研究动机与目标

• 理论分析降维（DR）映射在信息检索场景中的基本限制。
• 阐明为何在连续DR映射中无法同时最大化精确率与召回率。
• 基于L2-Wasserstein距离开发一种新的性能度量，以量化几何失真并支持理论保证。
• 为Lipschitz连续DR映射建立精确率衰减的严格上界。
• 为DR评估提供一种理论基础扎实的替代方案，以替代f-1分数等启发式度量。

提出的方法

• 作者在几何设定中定义了精确率与召回率的连续类比，通过输入空间与特征空间中的邻域建模相关性。
• 他们证明完美召回率等价于DR映射的连续性，且由于拓扑约束，完美精确率与完美召回率无法共存。
• 一项关键技术贡献是求解在概率分布受限集合上的L2-Wasserstein距离优化问题，该问题支撑了理论分析。
• 在Lipschitz连续性条件下，推导出精确率衰减的指数上界，作为降维维度数的函数。
• 提出一种基于L2-Wasserstein距离的新性能度量 $W_2$，该度量捕捉了距离失真与集合不匹配。
• 通过展示Wasserstein度量的下界与实践中优化f-β分数的相关性，验证了该度量的实用性。

实验结果

研究问题

• RQ1 在信息检索场景中，连续的降维映射能否同时实现完美精确率与完美召回率？
• RQ2 当维度降低时，Lipschitz连续DR映射的精确率理论衰减速率是多少？
• RQ3 如何构建一种性能度量，以量化精确率与召回率之外的几何失真？
• RQ4 所提出的基于Wasserstein距离的性能度量在连续DR映射中的理论下界是什么？
• RQ5 优化Wasserstein度量的下界是否对应于实际DR评估中f-β分数的提升？

主要发现

• 任何连续DR映射都无法同时实现完美精确率与完美召回率，确立了基本的理论权衡。
• 任何Lipschitz连续DR映射的精确率会随着降维维度数的增加而指数衰减。
• 基于L2-Wasserstein距离的所提 $W_2$ 度量提供了一种理论基础扎实的替代方案，能够同时捕捉距离失真与集合不匹配。
• $W_2$ 度量在连续DR映射中拥有理论下界，从而支持严谨的评估。
• 模拟结果表明，优化Wasserstein度量下界与f-β分数的提升相关，验证了其实际相关性。
• 在S曲线、瑞士卷和MNIST数据集上的实证分析表明，t-SNE的性能在困惑度范围32–128之外会下降，与连续性与单射性之间的理论权衡一致。