[論文レビュー] Towards a universal neural network encoder for time series

Joan Serrà, Santiago Pascual+1 more|arXiv (Cornell University)|May 10, 2018

Time Series Analysis and Forecasting参考文献 28被引用数 89

ひとこと要約

時系列の畳み込みエンコーダと時系列方向のアテンション機構が、未見データタイプへ一般化可能な固定長表現を学習し、最小限の適応で競争力のある分類を実現します。事前学習済みエンコーダは、シンプルな分類器で使えるコンパクトで高速な表現を提供します。

ABSTRACT

We study the use of a time series encoder to learn representations that are useful on data set types with which it has not been trained on. The encoder is formed of a convolutional neural network whose temporal output is summarized by a convolutional attention mechanism. This way, we obtain a compact, fixed-length representation from longer, variable-length time series. We evaluate the performance of the proposed approach on a well-known time series classification benchmark, considering full adaptation, partial adaptation, and no adaptation of the encoder to the new data type. Results show that such strategies are competitive with the state-of-the-art, often outperforming conceptually-matching approaches. Besides accuracy scores, the facility of adaptation and the efficiency of pre-trained encoders make them an appealing option for the processing of scarcely- or non-labeled time series.

研究の動機と目的

• 可変長の時系列と希少なラベルという状況での表現学習を動機づける。
• 完全再学習なしで未見データタイプへ generalize できる普遍的エンコーダを開発する。
• 適応戦略の評価：適応なし、部分的適応、全適応。
• 表現サイズ、精度、効率のトレードオフを評価する。
• 大規模な時系列ベンチマークで、エンコーダベースの手法を最先端のベースラインと比較する。

提案手法

• 3つの畳み込みブロックと2つの2因子最大プーリング層を備えたCNNベースのエンコーダ。
• 時系列方向のsoftmaxを介して半分のフィルタに対するアテンション機構を用い、固定長表現を生成。
• 訓練の安定化のためのインスタンス正規化とPReLU活性化。
• 最終的にk次元表現を出力する全結合層。
• 学習時にはデータセットごとの分類ヘッドを用いたマルチヘッド訓練で、表現をラベルへマッピング。
• 適応のシナリオを変えて評価：適応なし（表現上の1NN）、マッピング適応（LR/SVM）、全適応（エンコーダのファインチューニング。）

実験結果

リサーチクエスチョン

• RQ1 複数データセットで訓練された普遍的な時系列エンコーダは、 substantial adaptation なしに未見データタイプへ一般化できるか？
• RQ2 新しい時系列データセットへ表現を移す際、異なる適応戦略が精度にどのように影響するか？
• RQ3 さまざまな適応体制の下で表現サイズ（k）の性能への影響は？
• RQ4 UEA/UCRベンチマークで、エンコーダベースの表現は最先端のベースラインと競合する性能を達成するか？
• RQ5 学習された表現は、1NN、LR、SVMなどの単純な分類器で有用か？

主な発見

• 1NN、LR、またはSVMを用いたエンコーダベースの表現は、従来の距離ベースのベースラインと競合するか、上回る。
• エンコーダの適応（ADAPT）により、最先端手法と競合する性能を発し、しばしばいくつかのベースラインに近づくまたは上回る。
• 事前学習済みエンコーダ（Encoder-NEW）は、ターゲットタスクをゼロから学習するのに比べて上回る。
• 小さな固定表現（k）はノーアダプテーションとマッピング適応を難しくするが、全適応では影響が限定的。
• Encoder-ADAPTおよびEncoder-NEWは、COTEやHIVE-COTEなどのアンサンブルベースラインと比較して高い性能を提供しつつ、学習の複雑さを低減する。
• 表現サイズ：全適応下でkを増やしても一貫した利得はないが、適応なしの場合には大きなkが有利になる。