[論文レビュー] Gated Transformer Networks for Multivariate Time Series Classification

Minghao Liu, Shengqi Ren+5 more|arXiv (Cornell University)|Mar 26, 2021

Time Series Analysis and Forecasting参考文献 18被引用数 100

ひとこと要約

GTNは、ゲーティング機構を用いてステップワイズとチャネルワイズの関係を融合し、多変量時系列分類のTransformerを拡張して、13データセット全体で競争力のある結果を達成し、アテンションマップを通じた解釈性を提供します。

ABSTRACT

Deep learning model (primarily convolutional networks and LSTM) for time series classification has been studied broadly by the community with the wide applications in different domains like healthcare, finance, industrial engineering and IoT. Meanwhile, Transformer Networks recently achieved frontier performance on various natural language processing and computer vision tasks. In this work, we explored a simple extension of the current Transformer Networks with gating, named Gated Transformer Networks (GTN) for the multivariate time series classification problem. With the gating that merges two towers of Transformer which model the channel-wise and step-wise correlations respectively, we show how GTN is naturally and effectively suitable for the multivariate time series classification task. We conduct comprehensive experiments on thirteen dataset with full ablation study. Our results show that GTN is able to achieve competing results with current state-of-the-art deep learning models. We also explored the attention map for the natural interpretability of GTN on time series modeling. Our preliminary results provide a strong baseline for the Transformer Networks on multivariate time series classification task and grounds the foundation for future research.

研究の動機と目的

• Transformerアーキテクチャを用いた多変量時系列分類の必要性を動機づける。
• ゲーティングによってステップワイズとチャネルワイズの表現を統合するGated Transformer Networks (GTN) を提案する。
• アブレーション研究を通じてGTNを多様な多変量時系列データセットで評価する。
• 学習特徴の解釈性のためにアテンションマップと埋め込みを分析する。

提案手法

• 時系列をtanh活性化された全結合埋め込み層で埋め込み、時間依存の位置エンコードを追加する。
• 2つのTransformerタワーを実装する：ステップワイズ（時間的）エンコーダとチャネルワイズエンコーダで異なる相関を捉える。
• 学習可能なゲートg1とg2を介してタワーの出力を重み付けして結合するゲーティング機構を導入する。
• 自己回帰型の注意を保ち、学習を改善するためにステップワイズタワーでマスキングを使用する。
• Adagrad（lr=0.0001）とドロップアウト（0.2）でGTNを訓練し、プラトーで学習率をスケジューリング、最良損失モデルを評価する。
• マスキング、タワー構成要素、ゲーティングの影響を示すアブレーション研究を提供する。

実験結果

リサーチクエスチョン

• RQ1 ゲーティングを備えた2-towerのTransformerは、多変量時系列のステップワイズ（時間的）とチャネル指向の相関の両方を効果的にモデルできるか。
• RQ2 ゲーティング機構はGTNにおける単純な連結や単一タワー設計よりも優れているか。
• RQ3 学習されたアテンションマップと埋め込みは時系列データの解釈性にどれほど寄与するか。
• RQ4 GTNが多様なベンチマークにおける最先端の深層学習ベースラインに対して実証的にどの程度優れているか。

主な発見

• GTNは13データセットにおいて最先端の深層学習モデルと競合する精度を達成する。
• アブレーション研究はマスキングが性能を改善し、チャネル-wiseあるいはステップ-wiseのタワーのみがデータセット間で有効性に差を示すことを示す。
• ゲーティング（学習重み）は単純な連結よりも優れており、サンプルごとにデータ駆動でどちらのタワーを利用するかを可能にする。
• GTNはアテンションマップと埋め込みの可視化を通じて解釈可能な洞察を提供し、意味のあるパターンの発見を示唆する。
• ステップワイズの注意が支配的であることが多いが、データセット固有の挙動として両タワーが性能に寄与する。
• GTNはTransformerベースの時系列分類に対する強力なベースラインポテンシャルを示す。