[論文レビュー] Designing Universal Causal Deep Learning Models: The Geometric (Hyper)Transformer

Beatrice Acciaio, Anastasis Kratsios+1 more|arXiv (Cornell University)|Jan 31, 2022

Explainable Artificial Intelligence (XAI)被引用数 3

ひとこと要約

本稿では、時系列から一般の距離空間 Y への正則な因果的写像を、コンpactなユークリッド空間 X に埋め込みつつ因果的情報の流れを保存する、普遍的な因果的深層学習フレームワークである幾何的（ハイパーサイバーフォーム）トランスフォーマー（GHT）を提案する。主な貢献は、必要なパラメータ数がターゲット写像の正則性および X と Y の幾何構造（適応ウォッシャースタイン空間やフレシェ空間を含む）に従ってスケーリングすることを示す定量的普遍近似定理である。

ABSTRACT

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of metric spaces $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fréchet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable spaces $\mathscr{X}$ are compact subsets of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that Hölder functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

研究の動機と目的

• 確率過程における幾何的構造と因果的情報の流れを保存する深層学習モデルの設計という未解決問題に取り組む。
• 離散時系列パス空間 X^Z と Y^Z 間の任意の正則な因果的写像を近似する原理的フレームワークを構築する。ここで X ⊆ R^d であり、Y は一般の距離空間である。
• 与えられた近似誤差を達成するための深層学習モデルに必要なパラメータ数の明示的かつ定量的バウンドを、ターゲット写像の正則性および X と Y の幾何構造に応じて提供する。
• 非ユークリッド空間における因果的・時系列順写像への普遍近似理論を拡張し、適応最適輸送や統計多様体を含む。
• コンパクトなユークリッド空間の部分集合と一般の距離空間間のホルダー連続写像に対する、時間的構造がなくても成立する初めての普遍近似保証を確立する。

提案手法

• 因果的写像 F: X^Z → Y^Z を時系列に沿って前向きに処理することで、因果的写像を模倣する新しい深層学習アーキテクチャである幾何的（ハイパーサイバーフォーム）トランスフォーマー（GHT）を提案する。
• 出力空間 Y の幾何構造に適応した Y 値のトランスフォーマーブロックをコアコンponentsとして使用し、ウォッシャースタイン空間 やフレシェ空間などの非ユークリッド構造を尊重できるようにする。
• ハイパーウェブメカニズムを導入し、Y 値のヘッドのパラメータをコンテキストエンコーダーが生成することで、モデルが Y の幾何構造に適応可能にする。
• 距離幾何学と連続性のモジュラスを用いて近似誤差を制御し、特に出力パスの時間的成長を制限する。
• 高次元または非ユークリッドな出力空間に対処するため、ランダム射影および距離埋め込み技術を適用し、安定性と近似精度を保証する。
• ホルダー連続性および X と Y に対する幾何的仮定（コンパクト性、フレシェ基底、適応ウォッシャースタイン構造など）を用いて定量的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 時系列パス空間間の任意の正則な因果的写像を、情報の流れを前向きに保つ形で普遍的に近似できる深層学習モデルは存在するか？
• RQ2 与えられた因果的写像を所定の誤差で近似するための深層ニューラルネットワークに必要な最小パラメータ数は、写像の正則性および入力・出力空間の幾何構造にどのように依存するか？
• RQ3 コンパクトな R^d の部分集合と一般の距離空間間のホルダー連続写像に対し、普遍近似が成立するか。非ユークリッド空間（例：適応ウォッシャースタイン空間）を含む場合でも成立するか？
• RQ4 出力空間 Y がユークリッド空間でない場合に、深層学習モデルが Y の幾何的構造をどのように尊重できるか？
• RQ5 記憶依存的ダイナミクスを伴う長時間スパンにおいても、モデルの出力が安定的かつ制御可能であるための条件は何か？

主な発見

• 幾何的（ハイパーサイバーフォーム）トランスフォーマーは、X が R^d のコンパクト部分集合で、Y が適切な距離空間（適応ウォッシャースタイン空間やフレシェ空間にスカウダーベースを持つもの）であるような任意の正則な因果的写像 F: X^Z → Y^Z を普遍的に近似可能である。
• 所定の近似誤差を達成するためのパラメータ数は定量的にバウンドされており、ターゲット写像のホルダー正則性および X と Y の幾何的複雑性に依存する。
• 時間的構造がなくても、本フレームワークは、R^d のコンパクト部分集合と一般の距離空間間のホルダー連続写像に対する、初めての普遍近似保証を提供する。
• モデルは情報を厳密に前向きに処理することで因果的整合性を確保し、確率過程における適応的情報流れを保存する。
• 補外関数と連続性のモジュラスを用いて、入力空間に対するさまざまな幾何的仮定のもとで、出力パスの成長を制御し、安定性を保証する。
• 入力空間 K に対して5つの異なる幾何的仮定（例：有界 Variation、p-変動、α-summable 増分）を用い、それぞれが明示的なパラメータ効率推定値をもたらす。