[論文レビュー] Tensorized Transformer for Dynamical Systems Modeling

Anna Shalova, Ivan Oseledets|arXiv (Cornell University)|Jun 5, 2020

Model Reduction and Neural Networks参考文献 34被引用数 4

ひとこと要約

本論文は、位相空間をグリッドに離散化し、テンソル・トレイン因子分解を用いてパラメータの増大を O(N^d) から O(dN) に削減するテンソル化されたトランスフォーマーデコーダー・モデルを提案する。動的挙動を確率的予測を伴う系列モデルとして扱うことで、カオス的系の不変集合を保持し、LSTM や Deep Koopman モデルなどのベースラインと比較して、特に細かいグリッド分割と反復学習を用いることで優れた長期予測精度を達成する。

ABSTRACT

The identification of nonlinear dynamics from observations is essential for the alignment of the theoretical ideas and experimental data. The last, in turn, is often corrupted by the side effects and noise of different natures, so probabilistic approaches could give a more general picture of the process. At the same time, high-dimensional probabilities modeling is a challenging and data-intensive task. In this paper, we establish a parallel between the dynamical systems modeling and language modeling tasks. We propose a transformer-based model that incorporates geometrical properties of the data and provide an iterative training algorithm allowing the fine-grid approximation of the conditional probabilities of high-dimensional dynamical systems.

研究の動機と目的

• 初期条件に敏感で、有界な不変集合を持つ高次元のカオス的動的系をモデル化する課題に対処すること。
• 位相空間内の幾何的構造を活用することで、連続的力学の離散的確率的モデリングにおける次元の呪いを克服すること。
• 確率的で系列ベースの学習により、カオス的系の不変集合を保持するスケーラブルで微分可能なモデルを開発すること。
• 段階的・反復的なグリッド分割の精錬とテンソル化埋め込みを用いて、高次元モデルの効率的学習を可能にすること。
• カオス的系において、条件付き状態遷移の確率的モデリングが、直接的な関数近似よりも優れた性能を発揮することを示すこと。

提案手法

• 連続的位相空間を均一なグリッドに離散化し、連続的軌道を系列モデリング用の離散的系列に変換する。
• テンソル符号化層が埋め込み行列を低ランクのテンソル・トレイン成分に因子分解し、モデルサイズを O(N^d) から O(dN) パラメータに削減する。
• トランスフォーマーデコーダーが、履歴としての離散状態の系列を入力として、次の状態の条件付き確率分布をマルチヘッド自己注意機構を用いてモデル化する。
• 分類層を次元ごとに因子分解し、各次元ごとに独立して次の状態インデックスを予測することで、指数的増大を回避する。
• 段階的で反復的な学習アルゴリズムにより、粗いグリッドから始めて段階的にグリッド分解能を向上させながらモデルを精錬する。
• 予測されたインデックスは、グリッドセルの中心を用いて連続空間に再マッピングされ、連続的軌道再構成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルは、離散的確率的モデリングを用いて、高次元のカオス的動的系の不変測度を効果的に学習できるか？
• RQ2 テンソル・トレイン因子分解をどのように活用することで、高次元のカオス的系の系列モデリングを計算的に可能にするか？
• RQ3 より細かいグリッドに段階的に学習を進めるプロセスは、カオス的系における収束性と長期予測精度を向上させるか？
• RQ4 幾何学的感度を持つ因子分解型確率的モデルは、直接的な関数近似と比較して、カオス的系の不変集合をより良く保持できるか？
• RQ5 テンソル化トランスフォーマーの性能は、Lorenz-96 および Rossler 系において、LSTM や Deep Koopman モデルといった標準ベースラインと比較してどうなるか？

主な発見

• 細かいグリッド分割を用いる場合、ロスラーサイクル系において、LSTM や Deep Koopman モデルと比較して、本モデルは長期予測精度が優れている。
• 決定的軌道ではなく条件付き確率をモデル化することで、カオス的系の不変集合を保持している。
• グリッド分解能を段階的に向上させた反復的学習により、表現が滑らかになり、収束が早くなることが、TT埋め込み成分の変化から示された。
• 粗いグリッドでも、モデルは解釈可能で安定した挙動を示しており、グリッド分解能に対してロバストであることが示された。
• 因子分解された分類層により、O(N^d) のパラメータスケーリングではなく O(dN) のスケーリングで、高次元状態空間における効率的予測が可能になった。
• Lorenz-96 系においても、競争性能を発揮し、低次元のカオス的アトラクタにとどまらない一般化能力を示した。