[论文解读] Minimax-optimal semi-supervised regression on unknown manifolds

Amit Moscovich, Ariel Jaffe+1 more|arXiv (Cornell University)|Nov 7, 2016

Face and Expression Recognition参考文献 8被引用 14

一句话总结

本文提出了一种测地线kNN回归方法，这是一种半监督学习方法，通过同时利用有标签和无标签数据来估计流形上的测地距离，然后基于这些距离执行kNN回归。当存在足够多的无标签数据时，该方法在未知流形上的Lipschitz回归任务中实现了极小极大最优的有限样本误差率，其在准确性和速度上均优于传统的kNN和拉普拉斯特征向量方法。

ABSTRACT

We consider semi-supervised regression when the predictor variables are drawn from an unknown manifold. A simple two step approach to this problem is to: (i) estimate the manifold geodesic distance between any pair of points using both the labeled and unlabeled instances; and (ii) apply a k nearest neighbor regressor based on these distance estimates. We prove that given sufficiently many unlabeled points, this simple method of geodesic kNN regression achieves the optimal finite-sample minimax bound on the mean squared error, as if the manifold were known. Furthermore, we show how this approach can be efficiently implemented, requiring only O(k N log N) operations to estimate the regression function at all N labeled and unlabeled points. We illustrate this approach on two datasets with a manifold structure: indoor localization using WiFi fingerprints and facial pose estimation. In both cases, geodesic kNN is more accurate and much faster than the popular Laplacian eigenvector regressor.

研究动机与目标

• 阐明在流形假设下，无标签数据在半监督回归中所带来的有限样本优势。
• 建立一种简单两步法——测地距离估计后接kNN回归——在未知流形上对Lipschitz函数的理论最优性。
• 通过证明Lipschitz情形，解决Goldberg等人（2009年）提出的猜想：在未知流形上进行半监督学习可实现Hölder函数的极小极大率。
• 展示测地线kNN在计算效率和经验性能上优于基于谱方法的拉普拉斯特征向量回归。

提出的方法

• 使用环境距离度量，在所有有标签和无标签点上构建一个稀疏且对称的k近邻图。
• 在图上计算最短路径距离，以估计所有点对之间的测地距离。
• 使用估计的测地距离执行kNN回归，其中某一点的预测值为其k个测地最近邻的标签的平均值。
• 采用带小扰动（ε）的对称kNN规则，以优先选择更短路径，从而确保距离估计的鲁棒性和稳定性。
• 利用图结构实现所有预测的O(kN log N)计算，使其具备可扩展性。
• 将图拉普拉斯矩阵用于对比，但表明在实际应用中测地线kNN显著更快。

实验结果

研究问题

• RQ1 当数据位于未知的低维流形上时，无标签数据是否能在半监督回归中提供有限样本优势？
• RQ2 一种简单两步法——测地距离估计后接kNN回归——是否能在未知流形上对Lipschitz函数实现极小极大最优误差率？
• RQ3 在准确性和计算成本方面，测地线kNN与基于谱的方法（如拉普拉斯特征向量回归）相比表现如何？
• RQ4 为确保测地线kNN方法以高概率实现极小极大最优性，所需的无标签点数量是多少？

主要发现

• 当无标签点数量足够大时，测地线kNN回归在未知流形上的Lipschitz回归任务中，实现了极小极大最优的有限样本均方误差界。
• 在室内定位和人脸姿态估计任务中，该方法在准确性和速度上均优于标准kNN和拉普拉斯特征向量回归。
• 即使使用朴素的Python实现，通过图最短路径计算测地最近邻的速度也比计算拉普拉斯特征向量快几个数量级。
• 测地线kNN方法计算效率高，仅需O(kN log N)次运算即可估计所有N个点的回归值。
• 该方法对流形结构具有鲁棒性，在环境维度较高但内在维度较低时仍表现良好。
• 在模拟数据和真实WiFi指纹数据上的实证结果表明，测地线kNN在定位精度上显著优于基线方法。