[论文解读] Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

Luca Galimberti, Kratsios, Anastasis+1 more|arXiv (Cornell University)|Oct 24, 2022

Markov Chains and Monte Carlo Methods被引用 4

一句话总结

本文提出了因果神经算子（Causal Neural Operators, CNOs），这是一种基于随机分析的通用深度学习框架，用于在无限维动力系统中近似因果算子。通过利用超网络动态生成具有内存效率的参数演化的时间特定神经滤波器，CNOs 在有限时间范围内实现了对紧集上 Hölder 连续或光滑迹类算子的通用近似。

ABSTRACT

Several non-linear operators in stochastic analysis, such as solution maps to stochastic differential equations, depend on a temporal structure which is not leveraged by contemporary neural operators designed to approximate general maps between Banach space. This paper therefore proposes an operator learning solution to this open problem by introducing a deep learning model-design framework that takes suitable infinite-dimensional linear metric spaces, e.g. Banach spaces, as inputs and returns a universal extit{sequential} deep learning model adapted to these linear geometries specialized for the approximation of operators encoding a temporal structure. We call these models extit{Causal Neural Operators}. Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons Hölder or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of Causal Neural Operators, which even have new implications for (classical) finite-dimensional Recurrent Neural Networks. In addition, our guarantees for recurrent neural networks are tighter than the available results inherited from feedforward neural networks when approximating dynamical systems between finite-dimensional spaces.

研究动机与目标

• 为解决缺乏设计用于近似因果算子（COs），如随机微分方程解算子的规范框架的问题。
• 在无限维线性度量空间（特别是 Fréchet 空间）中，为因果序列深度学习模型建立通用近似理论。
• 建立控制近似精度的时间维度上模型深度、宽度和潜在状态维度之间的定量关系。
• 证明在特定架构条件下，RNN 可以用比 ReLU 网络少指数倍的参数来近似因果函数。

提出的方法

• 设计了一种因果深度学习模型——因果神经算子（CNO），通过在历史输入的滑动窗口上应用时间局部化的神经滤波器来处理时间序列输入。
• 采用超网络（一种深层 ReLU 网络）仅基于当前滤波器参数来生成下一滤波器的参数，从而实现内存高效的序列处理。
• 在神经滤波器的参数空间上构建潜在动力系统以编码整个模型，确保因果性并将内存占用减少到仅同时激活一个滤波器。
• 在具有 Schauder 基的 Fréchet 空间中应用通用近似理论，确保模型能对紧集上的因果、正则算子实现一致近似。
• 通过将误差分解为三部分来建立近似误差界：神经滤波器的近似误差、泛化误差以及超网络插值误差。
• 利用迹类算子和 Hölder 连续算子的结构，推导出在有限时间范围内实现所需精度所必需的潜在空间维度的定量边界。

实验结果

研究问题

• RQ1 能否为从无限维线性度量空间之间映射序列的因果算子设计一个通用近似的深度学习模型？
• RQ2 序列模型的深度、宽度和潜在状态维度之间存在何种定量关系，以维持在长时间时间范围内的高精度近似？
• RQ3 在序列设置下近似因果函数时，RNN 的参数效率与前馈 ReLU 网络相比如何？
• RQ4 基于超网络的架构能否在保持因果性和内存效率的同时实现因果算子的通用近似？
• RQ5 为实现对紧集上因果算子的一致近似，序列模型的最小架构要求（以宽度、深度和潜在维度表示）是什么？

主要发现

• CNOs 可在紧集上以及任意有限时间范围内一致近似 Hölder 连续或光滑迹类因果算子。
• 潜在状态空间维度和网络宽度的线性增长，结合深度的对数增长，可使近似有效的时间步数呈指数级增加。
• 在相同的近似误差和时间范围约束下，循环神经网络（RNNs）可使用比 ReLU 网络少指数倍的参数来近似因果函数。
• 超网络在有限维参数向量之间插值的作用，使得以多项式数量的参数实现高效记忆成为可能，避免了直接函数近似的需要。
• 该框架建立了实现通用近似的潜在空间维度的新型定量边界，对经典有限维 RNN 具有启示意义。
• 具有 Schauder 基的两个 Fréchet 空间的乘积也具有 Schauder 基，从而可在与动力系统相关的乘积空间中构建通用近似器。