[论文解读] ManifoldNet: A Deep Network Framework for Manifold-valued Data

Rudrasis Chakraborty, Jose Bouza+2 more|arXiv (Cornell University)|Sep 11, 2018

Human Pose and Action Recognition参考文献 9被引用 16

一句话总结

ManifoldNet 通过用可证明收敛的递归加权弗雷chet均值（wFM）层替代标准卷积，提出了一种用于流形值数据的深度学习框架，实现了等距群作用下的等变性，并消除了对 ReLU 或池化层的需求。该方法在视频分类和图像重建任务中实现了最先进性能，同时减少了过拟合并提升了参数效率。

ABSTRACT

Deep neural networks have become the main work horse for many tasks involving learning from data in a variety of applications in Science and Engineering. Traditionally, the input to these networks lie in a vector space and the operations employed within the network are well defined on vector-spaces. In the recent past, due to technological advances in sensing, it has become possible to acquire manifold-valued data sets either directly or indirectly. Examples include but are not limited to data from omnidirectional cameras on automobiles, drones etc., synthetic aperture radar imaging, diffusion magnetic resonance imaging, elastography and conductance imaging in the Medical Imaging domain and others. Thus, there is need to generalize the deep neural networks to cope with input data that reside on curved manifolds where vector space operations are not naturally admissible. In this paper, we present a novel theoretical framework to generalize the widely popular convolutional neural networks (CNNs) to high dimensional manifold-valued data inputs. We call these networks, ManifoldNets. In ManifoldNets, convolution operation on data residing on Riemannian manifolds is achieved via a provably convergent recursive computation of the weighted Fréchet Mean (wFM) of the given data, where the weights makeup the convolution mask, to be learned. Further, we prove that the proposed wFM layer achieves a contraction mapping and hence ManifoldNet does not need the non-linear ReLU unit used in standard CNNs. We present experiments, using the ManifoldNet framework, to achieve dimensionality reduction by computing the principal linear subspaces that naturally reside on a Grassmannian. The experimental results demonstrate the efficacy of ManifoldNets in the context of classification and reconstruction accuracy.

研究动机与目标

• 为解决存在于弯曲黎曼流形上的数据（如对称正定矩阵、球面和格拉斯曼流形）缺乏深度学习框架的问题。
• 通过用适用于非欧几里得数据的内在操作替代向量空间卷积，推广卷积神经网络（CNNs）。
• 开发一种在流形上执行加权弗雷chet均值计算的层，确保收敛性，并通过群等变性实现参数共享。
• 通过 wFM 操作的内在池化特性，消除对 ReLU 和池化层的需求。
• 通过自编码器架构，在视频分类和图像重建任务中展示该框架的有效性。

提出的方法

• 提出一种基于加权弗雷chet均值（wFM）的新网络层，作为 CNN 中标准线性与 ReLU 操作在流形上的类比，替代标准卷积操作。
• 引入一种可证明收敛的递归算法以计算 wFM，确保在黎曼流形上的稳定高效优化。
• 证明 wFM 层对底层黎曼流形的等距群作用具有等变性，从而在空间位置之间实现参数共享。
• 设计一种基于 wFM 层的流形感知自编码器+解码器架构，用于降维与重建，替代全连接层。
• 采用格拉斯曼平均和 iFME（迭代弗雷chet均值估计器）层，计算流形值数据的低维表示。
• 利用内在黎曼几何，确保所有操作（如均值计算与层传播）保持在流形结构内，无需嵌入到欧几里得空间。

实验结果

研究问题

• RQ1 能否仅通过内在黎曼操作，将深度神经网络推广以处理流形值数据？
• RQ2 加权弗雷chet均值层是否能为深度网络中的标准卷积和 ReLU 提供一种稳定、收敛且等变的替代方案？
• RQ3 wFM 层是否能作为自然的池化操作，从而消除对额外池化或非线性激活层的需求？
• RQ4 与标准自编码器和 PCA 相比，ManifoldNet 框架在流形值数据的重建质量与泛化能力方面表现如何？
• RQ5 数据流形的内在几何结构在下游任务中在多大程度上提升了泛化能力并减少了过拟合？

主要发现

• 所提出的 ManifoldNet 框架相比标准全连接自编码器，参数量减少了 46%，主要归因于用格拉斯曼平均层替代了大型全连接层。
• iFME+自编码器架构的收敛速度优于标准自编码器，在更短的计算时间内实现了更低的重建误差，如图 4 所示的时间-误差曲线所示。
• 在 MNIST 数据集上，基于 ManifoldNet 的自编码器+iFME 在使用分类器对重建数据进行分类时，测试集准确率达到 46.00%，优于标准自编码器（40.00%）和 PCA（26.00%）。
• iFME 层起到了正则化作用，提升了泛化能力：尽管标准自编码器在训练集上表现略优，但 ManifoldNet 在测试集上显著提升了性能。
• 在 1280×720 视频序列上的视觉重建结果，iFME+自编码器的视觉质量优于 PCA 和标准自编码器，完整视频重建结果可供对比。
• 该框架在视频分类和重建任务中表现出最先进性能，wFM 层展现出压缩映射行为，从而消除了对 ReLU 单元的需求。