[論文レビュー] Explainable Tensorized Neural Ordinary Differential Equations forArbitrary-step Time Series Prediction

Penglei Gao, Xi Yang+2 more|arXiv (Cornell University)|Nov 26, 2020

Stock Market Forecasting Methods参考文献 17被引用数 5

ひとこと要約

本論文は、任意の時刻における多次元時系列予測を目的とした連続時刻の深層学習フレームワーク、解釈可能なテンソル化ニューラルODE（ETN-ODE）を提案する。テンソル化GRUとODEベースの潜在動的モデル、およびトレーニングされた注意メカニズムを組み合わせることで、明示的な時系列的および変数レベルの注意メカニズムを備えた高精度で解釈可能な多段階予測を実現し、標準的および任意ステップ予測タスクの両方で既存手法を上回る性能を発揮する。

ABSTRACT

We propose a continuous neural network architecture, termed Explainable Tensorized Neural Ordinary Differential Equations (ETN-ODE), for multi-step time series prediction at arbitrary time points. Unlike the existing approaches, which mainly handle univariate time series for multi-step prediction or multivariate time series for single-step prediction, ETN-ODE could model multivariate time series for arbitrary-step prediction. In addition, it enjoys a tandem attention, w.r.t. temporal attention and variable attention, being able to provide explainable insights into the data. Specifically, ETN-ODE combines an explainable Tensorized Gated Recurrent Unit (Tensorized GRU or TGRU) with Ordinary Differential Equations (ODE). The derivative of the latent states is parameterized with a neural network. This continuous-time ODE network enables a multi-step prediction at arbitrary time points. We quantitatively and qualitatively demonstrate the effectiveness and the interpretability of ETN-ODE on five different multi-step prediction tasks and one arbitrary-step prediction task. Extensive experiments show that ETN-ODE can lead to accurate predictions at arbitrary time points while attaining best performance against the baseline methods in standard multi-step time series prediction.

研究の動機と目的

• 既存のモデルが単変量または1ステップの多次元予測に限られる一方で、任意の時刻における多次元多段階予測をカバーしないというギャップを埋める。
• 低頻度の学習データから高頻度の予測を可能にする、連続時刻のニューラルネットワークアーキテクチャを開発する。
• 予測への変数固有の寄与と時系列的寄与を捉える、トレーニングされた注意メカニズムを導入することで、モデルの解釈性を向上させる。
• 標準的多段階予測と任意ステップ予測の両方をサポートする統一フレームワークを提供し、精度と解釈可能性を向上させる。

提案手法

• ETN-ODEは、隠れ状態を行列として表現することで特徴固有のダイナミクスを捉える、テンソル化ゲート付き再帰ユニット（TGRU）を用いて多次元時系列を符号化する。
• 潜在状態の微分はニューラルネットワークによってパrameter化され、任意ステップ予測を可能にする連続時刻のODE系を形成する。
• トレーニングされた注意メカニズムが導入され、歴史的寄与を評価する時系列的注意と、特徴の重要性を評価する変数的注意を組み合わせて、適応的コンテキストベクトルを生成する。
• トレーニングされた注意メカニズムからのコンテキストベクトルがODEソルバーの初期条件として使用され、任意の時間間隔にわたる連続的予測が可能になる。
• 正則化とノイズ注入を伴う負の対数尤度損失を用いてモデルを学習させ、耐性を高める。
• 予測は、学習された初期状態から任意の将来時刻までODEを解くことで得られる。

実験結果

リサーチクエスチョン

• RQ1 連続時刻のニューラルネットワークアーキテクチャは、固定ステップ予測を超えて、任意の将来時刻における正確な多次元時系列予測を達成できるか？
• RQ2 連続時刻モデルに解釈性を効果的に統合する方法は何か。特に、予測に寄与する主要な変数と時間窓を特定するには？
• RQ3 時系列的注意と変数的注意を組み合わせた本研究のトレーニングされた注意メカニズムは、標準的注意法やプーリング手法と比較して、予測性能とモデルの解釈性の両方を向上させるか？
• RQ4 テンソル化GRUは、標準的RNNやLSTMと比較して、パラメータ数を減らし、収束が速くなるという点で、多次元ダイナミクスのモデル化において優れているか？

主な発見

• ETN-ODEは、5つの実世界データセットにおいて、標準的多段階予測および任意ステップ予測タスクの両方で最先端の性能を達成した。
• アブレーションスタディの結果、特にODEモジュールやトレーニングされた注意メカニズムを削除すると性能が著しく低下し、それらが不可欠であることが確認された。
• トレーニングされた注意メカニズムは意味のある解釈性を提供する：変数的注意は重要な入力特徴（例：SML2010では温度とCO2）を明確に特定し、時系列的注意は長期予測が歴史的データに依存していることを示している。
• ハイパーパramータの変動に対してモデルは頑健であるが、Nasdaq100のような高次元データセットを除き、ノイズレベルや隠れ次元の設定に関わらず性能が安定している。
• テンソル化GRUは、似た構造的設計にもかかわらず、パラメータ数が少なく、収束が速いため、テンソル化LSTMを上回っている。
• ODEモジュールは任意ステップ予測に不可欠である。このモジュールを削除すると、モデルは離散的時刻に限定され、高頻度予測の場面での柔軟性が制限される。