[论文解读] A New Method for Performance Analysis in Nonlinear Dimensionality Reduction

Jiaxi Liang, Shojaeddin Chenouri+1 more|arXiv (Cornell University)|Nov 16, 2017

Face and Expression Recognition参考文献 22被引用 3

一句话总结

本文提出一种局部等级相关性度量方法，用于评估非线性降维方法，提供一种稳健且可解释的性能指标，能够处理高维数据中偏斜的近邻分布。该方法能有效识别最优调参，并估计内在维度，与视觉评估结果高度一致，且在瑞士卷和雕塑人脸数据等基准数据集上得到定量验证。

ABSTRACT

In this paper, we develop a local rank correlation measure which quantifies the performance of dimension reduction methods. The local rank correlation is easily interpretable, and robust against the extreme skewness of nearest neighbor distributions in high dimensions. Some benchmark datasets are studied. We find that the local rank correlation closely corresponds to our visual interpretation of the quality of the output. In addition, we demonstrate that the local rank correlation is useful in estimating the intrinsic dimensionality of the original data, and in selecting a suitable value of tuning parameters used in some algorithms.

研究动机与目标

• 开发一种适用于非线性降维的性能度量方法，该方法具备可解释性，并对高维数据中偏斜的近邻分布具有鲁棒性。
• 解决非线性降维算法缺乏通用、无监督性能度量的问题。
• 实现对流形学习算法中内在维度和最优调参（如邻域大小K）的可靠估计。
• 提供一种与低维嵌入质量视觉评估高度相关的度量。

提出的方法

• 基于输入空间与输出空间中近邻的排序，提出一种基于局部等级相关性的度量方法，用于评估邻域保持性。
• 在原始空间与降维空间的局部邻域结构之间，同时使用斯皮尔曼等级相关系数（Spearman’s rho）和肯德尔等级相关系数（Kendall’s tau）作为相关性度量。
• 定义两个组成部分：$G^I_J$（内在相关性）和$G^O_J$（异常值相关性），分别捕捉局部结构保真度与噪声敏感性。
• 在不同维度和调参条件下应用该度量，以评估算法性能。
• 以反向碎屑图（reverse scree-plot）方式应用该度量，通过观察相关性值在真实维度之后的稳定性，检测内在维度。
• 在基准数据集（如瑞士卷、雕塑人脸）上使用ISOMAP、LTSA、MVU等算法验证该方法。

实验结果

研究问题

• RQ1 在缺乏真实标签的情况下，如何量化非线性降维方法的性能？
• RQ2 基于秩的局部相关性度量是否能作为高维、偏斜数据中距离度量的稳健且可解释的替代方案？
• RQ3 局部等级相关性与嵌入质量的视觉评估在多大程度上一致？
• RQ4 局部等级相关性能否用于估计流形的内在维度？
• RQ5 局部等级相关性能否指导ISOMAP等算法中邻域大小K等最优调参的选择？

主要发现

• 在瑞士卷示例中，局部等级相关性与人类对嵌入质量的视觉判断高度一致，K=13时性能达到峰值。
• 在K=14时局部等级相关性出现急剧下降，表明邻域保持性遭到破坏，正确识别出算法的过拟合或不稳定性。
• 在雕塑人脸数据集中，当q>3时局部等级相关性趋于稳定，正确估计出内在维度为3。
• 该方法成功识别出最优调参，如ISOMAP中K=13时性能达到峰值后开始下降。
• 当降维维度超过真实内在维度时，局部等级相关性保持稳定，证实其在内在维度估计中的有效性。
• 基于秩的相关性方法缓解了偏斜近邻分布带来的问题，提升了高维环境下的鲁棒性。