[論文レビュー] Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

Luca Galimberti, Kratsios, Anastasis+1 more|arXiv (Cornell University)|Oct 24, 2022

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、確率解析を用いて無限次元動的系における因果的作用素を近似するための普遍的ディープラーニングフレームワーク、因果的ニューラルオペレータ（CNOs）を紹介する。ハイパーネットワークを活用して、メモリ効率の良いパラメータ進化を伴う時刻別に特化したニューラルフィルタを動的に生成することで、CNOsは有限時間区間内におけるコンパクト集合上でのホルダー型または滑らかなトレースクラス作用素の普遍的近似を達成する。

ABSTRACT

Several non-linear operators in stochastic analysis, such as solution maps to stochastic differential equations, depend on a temporal structure which is not leveraged by contemporary neural operators designed to approximate general maps between Banach space. This paper therefore proposes an operator learning solution to this open problem by introducing a deep learning model-design framework that takes suitable infinite-dimensional linear metric spaces, e.g. Banach spaces, as inputs and returns a universal extit{sequential} deep learning model adapted to these linear geometries specialized for the approximation of operators encoding a temporal structure. We call these models extit{Causal Neural Operators}. Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons Hölder or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of Causal Neural Operators, which even have new implications for (classical) finite-dimensional Recurrent Neural Networks. In addition, our guarantees for recurrent neural networks are tighter than the available results inherited from feedforward neural networks when approximating dynamical systems between finite-dimensional spaces.

研究の動機と目的

• 確率的微分方程式の解作用素などの因果的作用素（COs）を近似するための標準的なフレームワークの欠如に対処すること。
• 特にフレシェ空間を含む無限次元線形距離空間における因果的で逐次的なディープラーニングモデルの普遍的近似理論を構築すること。
• 近似精度が時間経過に伴って保たれるように、モデルの深さ、幅、および潜在状態次元との間の定量的関係を確立すること。
• 特定のアーキテクチャ的条件下で、RNNがReLUネットワークよりも指数的に少ないパラメータで因果関数を近似できることを示すこと。

提案手法

• 時系列入力を、過去の入力のスライディングウインドウに時間局所的ニューラルフィルタを適用することで処理する因果的ディープラーニングモデル、すなわち因果的ニューラルオペレータ（CNO）を設計する。
• 現在のフィルタのパラメータのみに依存して、次のニューラルフィルタのパラメータを生成する、深層ReLUネットワークであるハイパーネットワークを採用し、メモリ効率の良い逐次処理を実現する。
• ニューラルフィルタのパrameter空間における潜在的動的システムを用いて、モデル全体を符号化することで、因果性を保ちつつ、同時に1つのアクティブなフィルタのみを保持するメモリフットプリントの削減を達成する。
• シュードゥア基底を備えたフレシェ空間における普遍的近似理論を適用し、コンパクト集合上での因果的で滑らかな作用素の均一近似が保証されることを示す。
• 近似誤差を3つの成分に分解することで近似誤差の境界を確立する：ニューラルフィルタの近似誤差、一般化誤差、およびハイパーネットワークの補間誤差。
• トレースクラスおよびホルダー連続作用素の構造を活用し、有限時間区間内で所望の精度に達するための必要な潜在空間次元の定量的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 無限次元線形距離空間間の系列を写像する因果的作用素を、ディープラーニングモデルが均一に近似可能か？
• RQ2 逐次モデルの深さ、幅、および潜在状態次元と、長時間にわたる近似精度の維持能力との間の定量的関係は何か？
• RQ3 逐次的設定において、RNNとフィードフォワードReLUネットワークの間で、因果関数を近似する際のパラメータ効率はどのように異なるか？
• RQ4 ハイパーネットワークベースのアーキテクチャは、因果性とメモリ効率を維持したまま、因果的作用素の普遍的近似を達成できるか？
• RQ5 コンパクト集合上で因果的作用素を均一に近似できるような逐次モデルに必要な最小限のアーキテクチャ的要件（幅、深さ、潜在次元）は何か？

主な発見

• CNOsは、任意の有限時間区間内において、コンパクト集合上でホルダー型または滑らかなトレースクラスの因果的作用素を均一に近似可能である。
• 潜在状態空間次元とネットワーク幅を線形に増加させ、深さを対数的に増加させることで、近似が有効である時間ステップ数が指数関数的に増加する。
• 特定の近似誤差と時間区間の制約下で、RNNはReLUネットワークよりも指数的に少ないパラメータで因果関数を近似できる。
• ハイパーネットワークが有限次元パラメータベクトル間の補間を担うことで、多項式オーダーのパラメータ数で効率的な記憶が可能となり、直接的な関数近似の必要がなくなる。
• 本フレームワークは、普遍的近似に必要な潜在空間次元の新しい定量的境界を確立し、古典的な有限次元RNNに対してもその意味を有する。
• シュードゥア基底を備えた2つのフレシェ空間の積は、再びシュードゥア基底を備えるため、動的システムに関連する積空間における普遍的近似器の構築が可能になる。