[论文解读] Grassmannian Learning: Embedding Geometry Awareness in Shallow and Deep Learning

Jiayao Zhang, Guangxu Zhu+2 more|arXiv (Cornell University)|Aug 7, 2018

Spatial Cognition and Navigation被引用 37

一句话总结

本文提出格拉斯曼学习（Grassmannian learning）作为一种统一框架，用于将子空间的几何结构嵌入浅层与深层学习模型。通过利用格拉斯曼流形对子空间的自然表示，该方法在图像集分类、域自适应和矩阵补全等任务中，通过几何感知优化与核方法提升了性能，相较于传统方法在鲁棒性和准确性方面表现出显著优势。

ABSTRACT

Modern machine learning algorithms have been adopted in a range of signal-processing applications spanning computer vision, natural language processing, and artificial intelligence. Many relevant problems involve subspace-structured features, orthogonality constrained or low-rank constrained objective functions, or subspace distances. These mathematical characteristics are expressed naturally using the Grassmann manifold. Unfortunately, this fact is not yet explored in many traditional learning algorithms. In the last few years, there have been growing interests in studying Grassmann manifold to tackle new learning problems. Such attempts have been reassured by substantial performance improvements in both classic learning and learning using deep neural networks. We term the former as shallow and the latter deep Grassmannian learning. The aim of this paper is to introduce the emerging area of Grassmannian learning by surveying common mathematical problems and primary solution approaches, and overviewing various applications. We hope to inspire practitioners in different fields to adopt the powerful tool of Grassmannian learning in their research.

研究动机与目标

• 提出格拉斯曼学习作为一种系统性方法，将子空间的几何结构整合到机器学习中。
• 弥合理论流形理论与信号处理及人工智能中实际应用之间的差距。
• 综述浅层与深层学习范式在格拉斯曼流形上的代表性方法与应用。
• 激励实践者采用格拉斯曼技术，以提升真实学习任务中的鲁棒性与性能。
• 指出几何感知深度学习与鲁棒机器学习中的开放挑战与未来方向。

提出的方法

• 利用格拉斯曼流形对高维空间中的子空间进行建模，尤其适用于具有低秩或正交性约束的数据。
• 采用格拉斯曼优化求解在子空间约束下的低秩矩阵补全与判别分析等问题。
• 应用核方法（如测地流核 GFK）在表示为格拉斯曼流形的域之间实现知识迁移。
• 提出直接构建于格拉斯曼流形上的深度神经网络架构，以保留特征表示中的几何结构。
• 利用黎曼优化工具（如指数映射与对数映射）在非欧几里得流形上实现基于梯度的学习。
• 采用余弦-正弦分解与对称正定（SPD）矩阵工具，以实现格拉斯曼结构上的高效计算。

实验结果

研究问题

• RQ1 如何利用格拉斯曼流形自然建模具有子结构的数据，以提升学习性能？
• RQ2 浅层格拉斯曼学习（如 GDA、SSC）与深层格拉斯曼学习（如测地线 CNN、基于流形的 DNN）之间的关键差异与协同效应是什么？
• RQ3 格拉斯曼学习在何种方式下增强了对小扰动与对抗攻击的鲁棒性？
• RQ4 如何将格拉斯曼流形的几何先验有效嵌入深度神经网络，以实现更好的泛化能力？
• RQ5 在实际应用中，学习于格拉斯曼流形上的最有效优化与核方法是什么？

主要发现

• 格拉斯曼判别分析（GDA）在面部表情分类中实现了比传统方法更优的子空间不变性建模。
• 测地流核（GFK）通过利用格拉斯曼流形上源域与目标域子空间之间的测地路径，实现了有效的域自适应。
• 通过格拉斯曼优化实现的低秩矩阵补全，在稀疏数据场景（如 Netflix 挑战）中显著提升了推荐准确率。
• 格拉斯曼深度学习模型由于子空间表示的固有稳定性，对小扰动表现出更强的鲁棒性。
• Riemann 优化工具（如 ManOpt 与 pyManOpt）的集成，使得格拉斯曼学习算法的实际部署与测试成为可能。
• 格拉斯曼学习作为新兴几何深度学习的基础构建模块，在 3D 视觉、图学习与智能 MIMO 系统中展现出广阔潜力。