[论文解读] Designing Universal Causal Deep Learning Models: The Geometric (Hyper)Transformer

Beatrice Acciaio, Anastasis Kratsios+1 more|arXiv (Cornell University)|Jan 31, 2022

Explainable Artificial Intelligence (XAI)被引用 3

一句话总结

本文提出了几何（超）Transformer（GHT），这是一种通用的因果深度学习框架，能够在紧凑的欧几里得空间 X 中近似任意规则的因果映射，从时间序列映射到一般度量空间 Y，同时保持因果信息流。其关键贡献是一个定量的通用逼近定理，表明所需参数数量与目标映射的正则性以及 X 和 Y 的几何结构（包括适配的 Wasserstein 空间和 Fréchet 空间）成比例。

ABSTRACT

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of metric spaces $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fréchet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable spaces $\mathscr{X}$ are compact subsets of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that Hölder functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

研究动机与目标

• 解决设计能够保持随机过程几何结构和因果信息流的深度学习模型这一开放问题。
• 为近似任意规则的因果映射构建一个原则性框架，该映射从离散时间路径空间 X^Z 到 Y^Z，其中 X ⊆ R^d 且 Y 是一般度量空间。
• 提供明确且定量的参数数量边界，以实现给定的逼近误差，取决于目标映射的正则性以及 X 和 Y 的几何结构。
• 将通用逼近理论扩展至非欧几里得空间中的因果、时间有序映射，包括适配最优传输和统计流形。
• 建立首个关于紧致子集之间 Hölder 连续映射在 R^d 和一般度量空间之间的通用逼近保证，即使在缺乏时间结构的情况下也成立。

提出的方法

• 提出几何（超）Transformer（GHT），一种新颖的深度学习架构，通过时间正向处理序列来模拟因果映射 F: X^Z → Y^Z。
• 使用 Y 值的 Transformer 块作为核心组件，根据输出空间 Y 的几何结构进行调整，使模型能够尊重非欧几里得结构，如 Wasserstein 空间和 Fréchet 空间。
• 引入一种超网络机制，其中 Y 值头的参数由上下文编码器生成，使模型能够适应 Y 的几何结构。
• 利用度量几何和连续性模来控制逼近误差，特别是通过限制输出路径随时间的增长。
• 应用随机投影和度量嵌入技术以处理高维或非欧几里得输出空间，确保稳定性和逼近精度。
• 利用 Hölder 连续性和对 X 和 Y 的几何假设（包括紧致性、Schauder 基和适配的 Wasserstein 结构）推导出定量边界。

实验结果

研究问题

• RQ1 是否能够设计一个深度学习模型，普遍逼近任意规则的因果映射，同时尊重信息的前向流动？
• RQ2 对于给定的因果映射，其逼近误差在指定范围内时，深度神经网络所需的最少参数数量是多少，取决于映射的正则性和输入输出空间的几何结构？
• RQ3 是否可以为紧致子集之间在 R^d 和一般度量空间之间的 Hölder 连续映射建立通用逼近？包括非欧几里得空间（如适配的 Wasserstein 空间）？
• RQ4 如何设计一个深度学习模型，使其尊重输出空间 Y 的几何结构，特别是当 Y 不是欧几里得空间时？
• RQ5 在存在记忆依赖动力学的情况下，模型在长时间时间范围内保持输出稳定且受控的条件是什么？

主要发现

• 几何（超）Transformer 实现了对任意规则因果映射 F: X^Z → Y^Z 的通用逼近，其中 X 是 R^d 的紧致子集，Y 是合适的度量空间，包括适配的 Wasserstein 空间和具有 Schauder 基的 Fréchet 空间。
• 实现给定逼近误差所需的参数数量被定量地限制，且取决于目标映射的 Hölder 正则性和 X 与 Y 的几何复杂度。
• 即使在缺乏时间结构的情况下，该框架仍为 R^d 紧致子集与一般度量空间之间 Hölder 连续映射提供了首个通用逼近保证。
• 模型通过严格时间正向处理信息，确保因果一致性，从而保留随机过程中至关重要的适配信息流。
• 该框架通过外推函数和连续性模控制输出路径随时间的增长，确保在各种输入空间几何假设下的稳定性。
• 在对输入空间 K 的五种不同几何假设下（例如有界变差、p-变差、α-可 summable 增量），推导出理论边界，每种假设均给出明确的参数效率估计。