[论文解读] Deep nets for local manifold learning

Charles K. Chui, H. N. Mhaskar|arXiv (Cornell University)|Jul 24, 2016

Sparse and Compressive Sensing Techniques参考文献 53被引用 9

一句话总结

该论文提出了一种用于局部流形学习的深度学习框架，该框架在无需特征分解的情况下，在高维空间中嵌入的流形上构建坐标系，通过深度神经网络实现在管状邻域内的最优函数扩展。该方法确保了先验误差界和通用逼近能力，能够根据函数的光滑性自适应调整，同时以受控的生长方式解决样本外扩展和预像问题。

ABSTRACT

The problem of extending a function $f$ defined on a training data $\mathcal{C}$ on an unknown manifold $\mathbb{X}$ to the entire manifold and a tubular neighborhood of this manifold is considered in this paper. For $\mathbb{X}$ embedded in a high dimensional ambient Euclidean space $\mathbb{R}^D$, a deep learning algorithm is developed for finding a local coordinate system for the manifold {\bf without eigen--decomposition}, which reduces the problem to the classical problem of function approximation on a low dimensional cube. Deep nets (or multilayered neural networks) are proposed to accomplish this approximation scheme by using the training data. Our methods do not involve such optimization techniques as back--propagation, while assuring optimal (a priori) error bounds on the output in terms of the number of derivatives of the target function. In addition, these methods are universal, in that they do not require a prior knowledge of the smoothness of the target function, but adjust the accuracy of approximation locally and automatically, depending only upon the local smoothness of the target function. Our ideas are easily extended to solve both the pre--image problem and the out--of--sample extension problem, with a priori bounds on the growth of the function thus extended.

研究动机与目标

• 开发一种深度学习算法，用于在无需特征分解的情况下，学习高维欧氏空间中嵌入的流形上的局部坐标系。
• 利用深度神经网络将定义在未知流形上训练数据集上的函数扩展到其管状邻域。
• 基于目标函数的导数阶数，确保逼近误差的最优先验误差界。
• 实现通用逼近能力，能够根据函数的光滑性自适应调整，而无需事先了解其正则性。
• 以先验误差界控制函数增长，解决样本外扩展和预像问题。

提出的方法

• 通过在流形的管状邻域上使用局部坐标系对问题进行降维后，利用深度神经网络在低维立方体上逼近函数。
• 通过映射 $ v(\mathbf{q}) = u(\pi_c(\mathbf{q})) + (0,\dots,0,q^{d+1},\dots,q^s,0,\dots,0) $ 构建局部坐标系，保持距离关系至多相差一个常数因子。
• 采用最小Sobolev范数（MSN）插值法控制扩展的生长，最小化 $ \int_{[-1,1]^s} |\Delta P(\mathbf{t})|^2 \, d\mathbf{t} / \sqrt{(1-(t^1)^2)\cdots(1-(t^s)^2)} $，并满足插值条件。
• 通过一个多项式 $ P^* $ 定义扩展，使其在训练点 $ \mathbf{x}_j \in \mathcal{C} $ 处匹配函数值，从而确保稳定性与有界增长。
• 避免使用反向传播和优化技术，转而依赖理论误差界以及坐标系的几何构造。
• 将流形视为通过参数化 $ v $ 嵌入 $ \mathbb{R}^D $ 的子流形，其中 $ s \geq d $，并确保雅可比矩阵满足 $ \|J_s(\mathbf{q}) - J_s(0)\| \leq \kappa \|\mathbf{q}\|_s $。

实验结果

研究问题

• RQ1 能否通过深度学习框架在无需特征分解的情况下学习流形上的局部坐标系，实现在低维立方体上的函数逼近？
• RQ2 如何将定义在流形上有限训练集上的函数扩展到其管状邻域，实现受控增长与最优误差界？
• RQ3 该方法能否实现自适应于局部光滑性的通用逼近，而无需事先了解函数的正则性？
• RQ4 如何以先验误差界控制扩展函数行为，解决预像与样本外扩展问题？
• RQ5 最小Sobolev范数插值法在确保函数扩展的稳定性和有界性方面起到什么作用？

主要发现

• 所提方法在无需反向传播或优化的情况下，实现了依赖于目标函数导数阶数的最优先验误差界。
• 基于深度神经网络的方法实现了通用逼近，能自动适应局部光滑性，无需事先了解函数的正则性。
• 通过最小Sobolev范数插值法实现对管状邻域的扩展，确保了扩展函数的有界增长并具有先验控制。
• 该方法在理论上保证了扩展函数行为的前提下，成功解决了预像与样本外扩展问题。
• 坐标系的构建避免了特征分解，转而依赖于流形及其在 $ \mathbb{R}^D $ 中嵌入的几何与解析性质。
• 该框架对流形维数 $ s $ 的高估具有鲁棒性，仅引入微小误差，且保持了距离保持特性。