[论文解读] Geometric Wavelet Scattering Networks on Compact Riemannian Manifolds

Michael Perlmutter, Feng Gao+2 more|PubMed|May 24, 2019

3D Shape Modeling and Analysis参考文献 57被引用 4

一句话总结

本文提出了一种用于紧致黎曼流形的几何小波散射网络，通过拉普拉斯-贝尔特拉米算子的谱滤波，将欧几里得散射变换推广至非欧几里得空间。该方法实现了等距不变性与微分同胚稳定性，在球面MNIST数据集（95%准确率）和FAUST姿态/人物分类任务（95%与76%准确率）上达到最先进性能，优于基于图的散射方法与基线特征。

ABSTRACT

The Euclidean scattering transform was introduced nearly a decade ago to improve the mathematical understanding of convolutional neural networks. Inspired by recent interest in geometric deep learning, which aims to generalize convolutional neural networks to manifold and graph-structured domains, we define a geometric scattering transform on manifolds. Similar to the Euclidean scattering transform, the geometric scattering transform is based on a cascade of wavelet filters and pointwise nonlinearities. It is invariant to local isometries and stable to certain types of diffeomorphisms. Empirical results demonstrate its utility on several geometric learning tasks. Our results generalize the deformation stability and local translation invariance of Euclidean scattering, and demonstrate the importance of linking the used filter structures to the underlying geometry of the data.

研究动机与目标

• 将欧几里得散射变换推广至紧致黎曼流形，以支持几何深度学习模型的数学分析。
• 构建一种在非欧几里得数据域上对局部等距不变且对微分同胚稳定的散射框架。
• 展示几何感知滤波设计在基于流形的学习任务（如分类与特征提取）中的实用性。
• 通过将图散射方法嵌入连续黎曼几何框架，统一并推广现有方法。

提出的方法

• 利用拉普拉斯-贝尔特拉米算子的特征函数构造谱滤波算子，以在流形上推广卷积操作。
• 通过小波滤波器与逐点非线性变换（复模）的级联，构建几何散射变换。
• 通过谱分解实现非扩张变换，从而在局部等距下保持不变性，并对小的微分同胚保持Lipschitz稳定性。
• 在需要全局不变性的任务（如流形分类）中使用全局几何散射变换 $\overline{S}^L f$。
• 采用基于流形内在几何结构预定义的几何小波，避免端到端学习滤波器。
• 使用RBF核SVM进行5折交叉验证，评估在球面MNIST与FAUST数据集上的分类性能。

实验结果

研究问题

• RQ1 能否在保持不变性与稳定性特性的前提下，将散射变换从欧几里得空间推广至紧致黎曼流形？
• RQ2 与基于图或欧几里得的方法相比，使用流形特定小波在几何学习任务中的性能表现如何？
• RQ3 几何散射变换在非欧几里得数据上对等距的不变性与对微分同胚的稳定性在多大程度上得以实现？
• RQ4 在小样本数据集上，几何散射框架与完全端到端学习的几何深度学习模型相比，在准确率与超参数敏感性方面表现如何？
• RQ5 几何散射特征能否作为流形分类任务中的通用、鲁棒表示？

主要发现

• 几何小波散射变换在球面MNIST数据集上达到95%的分类准确率，优于哈尔小波散射（90%），并匹配或超越如S2CNN等学习型模型。
• 在FAUST数据集上，几何散射在姿态分类中达到95%准确率，在人物分类中达到76%准确率，显著优于基线SHOT特征（92%与61%）及图散射（58%）。
• 该变换在理论上证明对局部等距不变，并对小的微分同胚保持Lipschitz稳定性，推广了欧几里得散射变换的关键理论性质。
• 使用几何感知小波相比基于图的散射方法性能更优，凸显了在滤波器设计中嵌入流形结构的重要性。
• 与学习型模型相比，网络深度 $L$ 的超参数调优更为简单，使几何散射在如FAUST等小样本数据集上尤为有效。
• 该框架可推广至任意维度 $d$ 的流形，为未来在高维几何数据上的应用奠定基础。