[论文解读] Geometric Scattering on Manifolds

Michael Perlmutter, Guy Wolf+1 more|arXiv (Cornell University)|Dec 15, 2018

Advanced Graph Neural Networks参考文献 37被引用 5

一句话总结

本文提出了一种适用于紧致黎曼流形的几何散射变换，将欧几里得空间中的散射变换推广至非欧几里得域。通过在流形信号上使用设计的滤波器和逐点非线性变换，该方法实现了局部等距不变表示，并在内在几何条件下证明了对微分同胚的稳定性，从而将几何深度学习的理论基础拓展至欧几里得空间之外。

ABSTRACT

The Euclidean scattering transform was introduced nearly a decade ago to improve the mathematical understanding of the success of convolutional neural networks (ConvNets) in image data analysis and other tasks. Inspired by recent interest in geometric deep learning, which aims to generalize ConvNets to manifold and graph-structured domains, we generalize the scattering transform to compact manifolds. Similar to the Euclidean scattering transform, our geometric scattering transform is based on a cascade of designed filters and pointwise nonlinearities, which enables rigorous analysis of the feature extraction provided by scattering layers. Our main focus here is on theoretical understanding of this geometric scattering network, while setting aside implementation aspects, although we remark that application of similar transforms to graph data analysis has been studied recently in related work. Our results establish conditions under which geometric scattering provides localized isometry invariant descriptions of manifold signals, which are also stable to families of diffeomorphisms formulated in intrinsic manifolds terms. These results not only generalize the deformation stability and local roto-translation invariance of Euclidean scattering, but also demonstrate the importance of linking the used filter structures (e.g., in geometric deep learning) to the underlying manifold geometry, or the data geometry it represents.

研究动机与目标

• 将欧几里得空间中的散射变换推广至紧致黎曼流形，以支持对非欧几里得数据上深度学习的理论分析。
• 建立变换生成流形信号的等距不变且局部化表示的条件。
• 利用流形的内在几何结构而非外在嵌入，证明变换对微分同胚族的稳定性。
• 证明几何深度学习中的滤波器结构必须与流形的内在几何对齐，以确保鲁棒性。
• 提供一个连续且数学上严谨的几何深度学习框架，作为离散图基变体的理论基础。

提出的方法

• 该变换通过谱积分算子与逐点非线性变换（如绝对值）的级联构建，类似于欧几里得空间中的散射变换。
• 滤波器通过流形上拉普拉斯-贝尔特拉米算子的特征函数与特征值导出的谱核定义。
• 该框架利用在两两同质流形上的径向核，实现对算子交换子的对称性分析。
• 通过积分算子与微分同胚诱导的平移算子之间的交换子范数分析微分同胚的稳定性。
• 关键估计依赖于核梯度的有界性与谱衰减，结合流形维度与特征值分布等几何不变量。
• 理论结果基于关于核不变性、梯度范数与谱衰减的引理推导，最终得出一般微分同胚下的稳定性界。

实验结果

研究问题

• RQ1 能否在保持关键不变性与稳定性性质的前提下，将散射变换从欧几里得空间推广至紧致黎曼流形？
• RQ2 在何种流形几何条件下，散射特征对等距变换保持不变且对微分同胚保持稳定？
• RQ3 如何将几何散射中的滤波器设计与流形的内在几何关联，以确保鲁棒性？
• RQ4 流形的两两同质性在实现变换更强稳定性保证中起到何种作用？
• RQ5 拉普拉斯-贝尔特拉米算子的谱特性如何影响几何散射变换的稳定性与局部化？

主要发现

• 当底层流形为两两同质时，几何散射变换可生成流形信号的局部化、等距不变表示。
• 对于两两同质流形，变换对微分同胚表现出利普希茨稳定性，其界取决于微分同胚偏离等距的程度，由 A1(ζ) 与 A2(ζ) 量化。
• 谱积分算子 T 与微分同胚诱导的平移算子 Vζ 的交换子范数被有界为常数乘以核的 L2 范数与梯度的 L∞ 范数的组合，且受流形几何不变量缩放。
• 对于齐性流形，谱核的梯度范数有界于 O(λ^(d+1)/4)，从而在谱滤波下获得更优的稳定性界。
• 该框架提供了欧几里得散射变换的连续、内在推广，离散图基变体可视为连续流形结构的有限采样。
• 结果表明，几何深度学习中的滤波器设计必须尊重底层流形的几何结构，以确保理论上的稳定性与不变性。