[论文解读] LDMNet: Low Dimensional Manifold Regularized Neural Networks

Wei Zhu, Qiang Qiu+4 more|arXiv (Cornell University)|Nov 16, 2017

Face recognition and analysis参考文献 24被引用 4

一句话总结

LDMNet 是一种深度神经网络正则化框架，通过在变分泛函中直接惩罚流形维度，促使输入数据和网络特征位于低维流形上。在训练数据有限的情况下，其在跨光谱人脸识别任务中相比权重衰减和 Dropout 提升了 10.5%，在 CASIA NIR-VIS 2.0 基准测试中实现了 85.02% 的 rank-1 准确率。

ABSTRACT

Deep neural networks have proved very successful on archetypal tasks for which large training sets are available, but when the training data are scarce, their performance suffers from overfitting. Many existing methods of reducing overfitting are data-independent, and their efficacy is often limited when the training set is very small. Data-dependent regularizations are mostly motivated by the observation that data of interest lie close to a manifold, which is typically hard to parametrize explicitly and often requires human input of tangent vectors. These methods typically only focus on the geometry of the input data, and do not necessarily encourage the networks to produce geometrically meaningful features. To resolve this, we propose a new framework, the Low-Dimensional-Manifold-regularized neural Network (LDMNet), which incorporates a feature regularization method that focuses on the geometry of both the input data and the output features. In LDMNet, we regularize the network by encouraging the combination of the input data and the output features to sample a collection of low dimensional manifolds, which are searched efficiently without explicit parametrization. To achieve this, we directly use the manifold dimension as a regularization term in a variational functional. The resulting Euler-Lagrange equation is a Laplace-Beltrami equation over a point cloud, which is solved by the point integral method without increasing the computational complexity. We demonstrate two benefits of LDMNet in the experiments. First, we show that LDMNet significantly outperforms widely-used network regularizers such as weight decay and DropOut. Second, we show that LDMNet can be designed to extract common features of an object imaged via different modalities, which proves to be very useful in real-world applications such as cross-spectral face recognition.

研究动机与目标

• 解决在真实应用场景中训练数据稀缺时深度神经网络的过拟合问题，这是常见挑战。
• 克服如权重衰减和 Dropout 等数据无关正则化方法的局限性，这些方法未利用数据的底层几何结构。
• 开发一种数据相关的正则化方法，显式建模输入数据和学习特征的几何结构。
• 通过鼓励输入-特征对采样低维流形，使网络能够学习具有几何意义的特征。
• 消除先前基于流形的方法所必需的显式流形参数化或人工提供的切向量。

提出的方法

• 构建一个变分泛函，基于微分几何公式惩罚联合输入-特征流形 $(\bm{x}_i, \bm{\xi}_i)$ 的内在维度。
• 将流形维度惩罚作为正则化项集成到损失函数中，直接在特征空间中鼓励低维结构。
• 通过交替优化求解得到的欧拉-拉格朗日方程：迭代优化网络权重并更新流形表示。
• 使用点积分法求解点云上的拉普拉斯-贝尔特拉米方程，实现在无需显式流形参数化下的高效计算。
• 将该框架应用于 SGD 的端到端训练，使用两层全连接网络从 VGG-face 特征中学习非线性特征嵌入。
• 调整超参数 $\tilde{\lambda}, \mu, w$ 以平衡正则化强度与网络容量，基于验证集性能进行优化。

实验结果

研究问题

• RQ1 一种建模输入和特征几何结构的数据相关正则化方法，能否在低数据场景下显著减少过拟合？
• RQ2 显式正则化输入-特征流形的维度，是否能带来比标准正则化方法（如权重衰减和 Dropout）更好的泛化性能？
• RQ3 LDMNet 能否为同一对象在不同成像模态（如可见光和近红外人脸图像）下的特征学习共享的低维流形？
• RQ4 所提出的方法是否具备可扩展性和高效性，与标准训练相比仅带来适度的计算成本增加？
• RQ5 在光照和传感器差异导致域偏移的跨光谱人脸识别中，LDMNet 能否提取出更鲁棒且解耦的特征？

主要发现

• LDMNet 在 CASIA NIR-VIS 2.0 基准测试中，相比使用 PCA 嵌入的 VGG-face 模型，将 rank-1 识别准确率从 74.51% 提升至 85.02%，实现了 10.5% 的绝对准确率提升。
• LDMNet 的性能优于 SOTA 方法如三元组损失和低秩嵌入，后者在相同评估协议下分别报告了 75.96% 和 80.69% 的准确率。
• 使用 LDMNet 学习到的特征集中于一维和零维流形（曲线和点），表现出几何一致性，而权重衰减或 Dropout 则产生散乱的簇状分布。
• 在跨光谱人脸识别中，来自同一主体在 VIS 和 NIR 模态下的特征在 LDMNet 下汇聚为单一低维流形，从而实现更好的泛化能力。
• 在相同实验设置下，LDMNet 显著优于权重衰减（63.87%）和 Dropout（66.97%），证明其在小样本场景下的优越性。
• 该方法保持了计算效率，求解拉普拉斯-贝尔特拉米方程的计算成本仅为 $O(N)$，权重更新成本为 $O(N\log N)$，使其适用于大规模学习。