[論文レビュー] RTFN: A Robust Temporal Feature Network for Time Series Classification

Zhiwen Xiao, Xin Xu+4 more|arXiv (Cornell University)|Nov 24, 2020

Time Series Analysis and Forecasting参考文献 70被引用数 6

ひとこと要約

本稿では、時間系列分類のための新しいロバストな時系列特徴ネットワークRTFNを提案する。RTFNは、局所的特徴抽出のための残差畳み込みネットワーク（TFN）と、長距離依存関係および特徴間の関係をモデル化するLSTMベースのアテンションネットワーク（LSTMaN）を組み合わせたものである。RTFNは、教師ありおよび教師なしの両設定においてUCR2018およびUEA2018データセットで最先端の性能を達成している。

ABSTRACT

Time series data usually contains local and global patterns. Most of the existing feature networks pay more attention to local features rather than the relationships among them. The latter is, however, also important yet more difficult to explore. To obtain sufficient representations by a feature network is still challenging. To this end, we propose a novel robust temporal feature network (RTFN) for feature extraction in time series classification, containing a temporal feature network (TFN) and an LSTM-based attention network (LSTMaN). TFN is a residual structure with multiple convolutional layers. It functions as a local-feature extraction network to mine sufficient local features from data. LSTMaN is composed of two identical layers, where attention and long short-term memory (LSTM) networks are hybridized. This network acts as a relation extraction network to discover the intrinsic relationships among the extracted features at different positions in sequential data. In experiments, we embed RTFN into a supervised structure as a feature extractor and into an unsupervised structure as an encoder, respectively. The results show that the RTFN-based structures achieve excellent supervised and unsupervised performance on a large number of UCR2018 and UEA2018 datasets.

研究の動機と目的

• 時間系列分類における表現学習の不十分さ、特に局所的特徴間の関係の未探索性に起因する課題に対処すること。
• 統合的なディープラーニングフレームワーク内で局所的パターン抽出と関係モデリングを組み合わせることで、特徴抽出を向上させること。
• 教師ありおよび教師なしの時間系列分類タスクにおいて性能を向上させる、ロバストでエンドツーエンドのアーキテクチャを開発すること。
• 階層的特徴および関係学習を活用することで、UCR2018やUEA2018といった標準ベンチマークで既存手法を上回ること。

提案手法

• RTFNは2つのコンponentsから構成される：局所的特徴抽出のための時系列特徴ネットワーク（TFN）、複数の畳み込み層を備えた残差CNN。
• LSTMaNモジュールは、双方向LSTMとマルチヘッドアテンションを組み合わせ、異なる時刻位置で抽出された特徴間の長期的依存関係および関係性をモデル化する。
• ネットワークは教師あり設定で特徴抽出器として、教師なし設定でクラスタリング用のオートエンコーダとして訓練される。
• アテンションメカニズムは、特徴表現の重要度に応じて、全体のシーケンスコンテキストに基づいて重みを動的に割り当てる。
• TFNにおける残差構造により、勾配消失の問題を緩和しつつ、より深いネットワークの構築が可能になる。
• 分類およびクラスタリングのプロトコルを用いて、UCR2018およびUEA2018データセットでモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドディープラーニングアーキテクチャは、時間系列データにおける局所的時系列パターンとそれらの相互関係を効果的に捉えることができるか？
• RQ2 LSTMとアテンションメカニズムの統合は、時間系列分類において単独のモデルと比較して、関係モデリングをどのように向上させるか？
• RQ3 RTFNは、教師ありおよび教師なしの両時間系列分類タスクにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 提案されたアーキテクチャは、多様な単変量および多変量時間系列データセットに広く一般化できるか？

主な発見

• RTFNベースの教師ありモデルは、85個の単変量UCR2018データセットのうち39個、30個の多変量UEA2018データセットのうち15個で最高性能を達成した。
• 長時間の単変量時系列データ（20件中11件）では、RTFNベースの手法が1位を記録し、長期間シーケンスにおける優れた一般化性能を示した。
• 教師なしクラスタリングにおいて、RTFNベースのK-meansは36個のUCR2018データセット全体で2番目に高い正規化ランダムインデックス（RI）を達成し、2つのデータセットを除き、すべてのデータセットで従来のK-meansを上回った。
• モデルの性能は、局所的パターンを超えた複雑な関係性をモデル化できる能力に起因し、その結果、一貫して優れた性能を示した。
• 教師なしクラスタリングにおけるRTFNのAVG_rankは2.78であり、DTCRに次いで優れた全体的な順位性能を示した。
• アブレーションスタディの結果、TFNとLSTMaNの組み合わせが不可欠であることが確認され、いずれのコンponentを削除しても性能が著しく低下した。