[论文解读] Kymatio: Scattering Transforms in Python

Mathieu Andreux, Tomás Angles+16 more|arXiv (Cornell University)|Dec 28, 2018

Computational Physics and Python Applications参考文献 13被引用 77

一句话总结

Kymatio 提供一个用户友好、高性能的 1D、2D、3D 散射变换的 Python 实现，支持 GPU，兼容 PyTorch 和 TensorFlow/Keras。它强调代码质量、文档，以及通过深度优先计算在降低内存使用的同时保持可微分性。

ABSTRACT

The wavelet scattering transform is an invariant signal representation suitable for many signal processing and machine learning applications. We present the Kymatio software package, an easy-to-use, high-performance Python implementation of the scattering transform in 1D, 2D, and 3D that is compatible with modern deep learning frameworks. All transforms may be executed on a GPU (in addition to CPU), offering a considerable speed up over CPU implementations. The package also has a small memory footprint, resulting inefficient memory usage. The source code, documentation, and examples are available undera BSD license at https://www.kymat.io/

研究动机与目标

• 引入一个易于使用且文档完善的散射变换 Python 实现。
• 提供与流行深度学习框架兼容的 GPU 加速、内存高效的 1D/2D/3D 散射变换。
• 提供统一的 API 及前端，便于集成到现代机器学习管道。
• 展示深度优先计算和可微性，以支持高效的重建和生成建模工作流。

提出的方法

• 使用小波和低通滤波器结合模非线性来定义 zeroth、first、second 阶散射系数。
• 在 1D/2D 中使用 Morlet 小波，在 3D 中使用固体径向小波，并采用合适的非线性（|t| 或其在 3D 中的类似形式）。
• 通过快速傅里叶变换（带周期填充）计算卷积，并采用深度优先遍历以减少中间存储。
• 提供与 PyTorch 和 TensorFlow/Keras 前端镜像 nn.Module 用法的 Python 风格接口，支持 CPU/GPU 执行。
• 将高阶系数限制为二阶，以在精度和计算负载之间取得平衡。
• 确保与现代深度学习工作流兼容，并通过对中间结果进行下采样来维持较小的内存占用。

实验结果

研究问题

• RQ1 如何在 Python 中高效实现跨 1D、2D、3D 数据的散射变换？
• RQ2 是否可以使散射变换具有可微性并易于集成到 PyTorch 和 TensorFlow/Keras 的管道中？
• RQ3 哪些架构决策（例如深度优先计算）在大规模或 GPU 受限场景中可降低内存占用？
• RQ4 在易用性、GPU 支持和 API 一致性方面，Kymatio 与现有散射实现相比如何？
• RQ5 有哪些实际应用和示例可以展示 Python 散射库的实用性？

主要发现

• Kymatio 提供面向 1D、2D 和 3D 数据的基于 Python 的端到端散射变换实现。
• 该包支持 CPU 和 GPU 执行，在 GPU 上获得显著加速。
• API 兼容 PyTorch 和 TensorFlow/Keras，便于集成到深度学习工作流中。
• 该项目强调代码质量、广泛测试、最小化依赖和全面文档。
• 深度优先计算降低内存开销，使散射在如 GPU 的内存受限环境中也很实用。
• Kymatio 在 BSD 许可下开源，并包含教程、示例和实际应用演示。