[论文解读] A Statistical Recurrent Model on the Manifold of Symmetric Positive Definite Matrices

Rudrasis Chakraborty, Chun-Hao Yang+6 more|arXiv (Cornell University)|May 28, 2018

Morphological variations and asymmetry被引用 11

一句话总结

该论文提出SPD-SRU，一种统计递归模型，将RNN推广至对称正定（SPD）矩阵的黎曼流形数据，实现了非欧几里得数据上的高效序列建模。该模型在参数量显著减少的情况下实现了最先进性能，并在帕金森病脑连接性数据中检测到组间差异的统计显著性。

ABSTRACT

In a number of disciplines, the data (e.g., graphs, manifolds) to be analyzed are non-Euclidean in nature. Geometric deep learning corresponds to techniques that generalize deep neural network models to such non-Euclidean spaces. Several recent papers have shown how convolutional neural networks (CNNs) can be extended to learn with graph-based data. In this work, we study the setting where the data (or measurements) are ordered, longitudinal or temporal in nature and live on a Riemannian manifold -- this setting is common in a variety of problems in statistical machine learning, vision and medical imaging. We show how recurrent statistical recurrent network models can be defined in such spaces. We give an efficient algorithm and conduct a rigorous analysis of its statistical properties. We perform extensive numerical experiments demonstrating competitive performance with state of the art methods but with significantly less number of parameters. We also show applications to a statistical analysis task in brain imaging, a regime where deep neural network models have only been utilized in limited ways.

研究动机与目标

• 开发一种适用于位于黎曼流形上的时间或纵向数据的循环神经网络框架，特别是对称正定（SPD）矩阵。
• 实现对流形值序列数据的统计分析，例如在神经影像中，传统深度学习模型应用不足。
• 通过利用SPD矩阵的内在几何结构，降低模型复杂度，同时保持竞争力的性能。
• 展示该模型在检测帕金森病与健康对照组之间脑连接模式统计显著差异方面的实用性。

提出的方法

• 该模型采用黎曼流形框架，在对称正定（SPD）矩阵空间中定义递归操作，用黎曼对应操作替代标准欧几里得操作。
• 采用对数-欧几里得或仿射不变黎曼度量来计算测地线距离和均值，实现在流形上的稳定且可微分的优化。
• 核心架构集成了类似简化循环单元（SRU）的机制，但适配于SPD流形，减少参数量的同时保持长期依赖建模能力。
• 通过指数映射和回归映射确保训练过程中更新保持在SPD流形上。
• 通过置换检验对两组受试者（如PD与CON）训练后模型之间的距离进行统计显著性检验，使用基于网络权重的模型距离度量。
• 该框架应用于扩散MRI的纤维束数据，从M1束沿线每个体素提取3×3的SPD矩阵以表示扩散特性。

实验结果

研究问题

• RQ1 能否将循环神经网络有效推广至位于黎曼流形上的数据，如对称正定矩阵的流形？
• RQ2 所提出的模型是否在序列数据任务上实现与现有RNN相当的性能，同时参数量显著更少？
• RQ3 该模型能否检测出帕金森病与健康对照组之间脑连接模式的统计显著差异？
• RQ4 在基准视觉与医学影像任务中，该模型在准确率、训练时间与参数效率方面与最先进RNN相比表现如何？

主要发现

• SPD-SRU在UCF11动作识别数据集上测试准确率达到0.78，仅使用3,337个可训练参数，优于LSTM和GRU等更大模型的参数效率。
• 模型每轮训练约需76秒，显著快于更大模型，如LSTM（14.6M参数，约57秒）和SRU（2.5M参数，约50秒）。
• 在神经影像应用中，SPD-SRU在LM1和RM1区域分别检测到帕金森病与对照组间差异的p值为0.01和0.032，而基线方法的p值分别为0.17和0.34，无统计显著性。
• 结果表明，基于流形的低参数RNN可实现竞争力性能，并在深度学习应用不足的医学影像中实现统计检验。
• 该框架支持基于置换的统计检验，为神经影像中的束追踪组分析提供了新方法。
• 结果表明，SPD-SRU在计算效率与统计功效方面均表现出色，适用于低数据量或高维流形值序列分析。