[论文解读] Sufficient dimension reduction for classification using principal optimal transport direction

Cheng Meng, Jun Yu+3 more|PubMed|Oct 19, 2020

Face and Expression Recognition参考文献 13被引用 8

一句话总结

本文提出主最优传输方向（POTD），一种用于分类的新颖充分维数缩减方法，通过估计类间最优传输耦合的主方向来估计SDR子空间。POTD通过利用传输几何而非基于矩的假设，在理想条件下能一致地恢复真实子空间，并在实证研究中展现出更优的分类准确率。

ABSTRACT

Sufficient dimension reduction is used pervasively as a supervised dimension reduction approach. Most existing sufficient dimension reduction methods are developed for data with a continuous response and may have an unsatisfactory performance for the categorical response, especially for the binary-response. To address this issue, we propose a novel estimation method of sufficient dimension reduction subspace (SDR subspace) using optimal transport. The proposed method, named principal optimal transport direction (POTD), estimates the basis of the SDR subspace using the principal directions of the optimal transport coupling between the data respecting different response categories. The proposed method also reveals the relationship among three seemingly irrelevant topics, i.e., sufficient dimension reduction, support vector machine, and optimal transport. We study the asymptotic properties of POTD and show that in the cases when the class labels contain no error, POTD estimates the SDR subspace exclusively. Empirical studies show POTD outperforms most of the state-of-the-art linear dimension reduction methods.

研究动机与目标

• 为解决传统充分维数缩减（SDR）方法在处理分类响应变量（尤其是二分类）时的局限性，当各类别的前两阶矩相同时，基于矩的方法会失效。
• 开发一种不依赖分布假设或矩条件的鲁棒 SDR 估计框架，实现在如 C 型曲线等复杂数据结构中的准确子空间恢复。
• 建立最优传输、SDR 与支持向量机之间的理论与实践联系，揭示最优传输的位移向量与 SVM 法向量高度一致。
• 在非椭圆或非对称数据分布下，展示 POTD 相较于现有线性降维技术在分类准确率与子空间估计方面的优越性。

提出的方法

• POTD 通过计算不同响应类别数据点之间的最优传输耦合来构建 SDR 子空间，使用 $L_2$-范数定义传输成本。
• 从最优传输映射中提取位移向量，表示类间质量转移的方向与大小。
• 将这些位移向量的主方向用作 SDR 子空间的基，通过在位移向量上进行主成分分析来估计。
• 该方法具有理论依据：在无标签错误或“分离”条件下，POTD 仅一致地估计真实 SDR 子空间。
• 通过将响应二值化为两组，将该方法扩展至连续响应。
• 使用 Sinkhorn 算法实现计算，研究正则化参数对性能的影响。

实验结果

研究问题

• RQ1 最优传输能否为二分类提供比基于矩的 SDR 方法更鲁棒且模型无关的替代方案？
• RQ2 最优传输的位移向量与支持向量机中分离超平面的法向量之间有何关系？
• RQ3 当类条件分布具有相同的前两阶矩时，POTD 是否能一致地估计真实 SDR 子空间？
• RQ4 在不同数据结构下，POTD 与 SIR、SAVE 和 PCA 在下游分类准确率方面的表现如何比较？
• RQ5 传输正则化（如 Sinkhorn 参数）及替代距离度量对最终降维性能有何影响？

主要发现

• POTD 在所有测试数据集（包括具有挑战性的 C 型曲线示例）中，分类准确率均一致优于 PCA 和大多数最先进线性降维方法。
• 在 C 型曲线示例中，仅 POTD 能成功恢复由前两个预测变量张成的真实 SDR 子空间，而 SIR 和 SAVE 因各类别前两阶矩相同而失效。
• 最优传输的位移向量与 SVM 分离超平面的法向量高度一致，建立了最优传输与支持向量机之间的理论联系。
• 在理想条件下（无标签错误且数据可分离），POTD 仅估计真实 SDR 子空间，表现出渐近一致性。
• 即使响应为连续变量，通过将响应二值化并应用相同的基于传输的框架，该方法依然有效。
• 实证结果表明，POTD 在 K-近邻分类中对不同 K 值均保持稳定性能，表明其对下游分类器选择具有鲁棒性。