[論文レビュー] Modeling Time Series Similarity with Siamese Recurrent Networks

Wenjie Pei, David M. J. Tax+1 more|arXiv (Cornell University)|Mar 15, 2016

Time Series Analysis and Forecasting参考文献 33被引用数 36

ひとこと要約

本稿では、時間系列同士の類似度を学習する教師あり深層学習モデルであるシアンプル再帰ネットワーク（SRN）を提案する。このモデルは、類似した時間系列ペアを統合的に学習する共有再帰ネットワークを用いて、ベクトル表現に埋め込み、類似度を重み付き内積で測定する。本モデルは、類似・不類似ペアの教師信号を用いて、クラス条件付きの監視により、一般化可能で判別力のある表現を学習することで、DTWのような教師なしベースラインを上回る性能を示し、少サンプル学習やワンショット学習の状況（署名や音声認識など）で顕著な向上を達成する。

ABSTRACT

Traditional techniques for measuring similarities between time series are based on handcrafted similarity measures, whereas more recent learning-based approaches cannot exploit external supervision. We combine ideas from time-series modeling and metric learning, and study siamese recurrent networks (SRNs) that minimize a classification loss to learn a good similarity measure between time series. Specifically, our approach learns a vectorial representation for each time series in such a way that similar time series are modeled by similar representations, and dissimilar time series by dissimilar representations. Because it is a similarity prediction models, SRNs are particularly well-suited to challenging scenarios such as signature recognition, in which each person is a separate class and very few examples per class are available. We demonstrate the potential merits of SRNs in within-domain and out-of-domain classification experiments and in one-shot learning experiments on tasks such as signature, voice, and sign language recognition.

研究の動機と目的

• 手作業による特徴量や教師なし類似度測定法の限界を是正するため、データ分布に適応できず、クラスレベルの監視を活用できない時間系列解析における問題を解決すること。
• 類似および不類似ペアからの教師信号を活用して、時間系列全体に共通するグローバルで共有される類似度メトリックを学習する深層学習モデルを開発すること。
• 各クラスに少数の例しか用意されていないような、ワンショット学習や極端な分類タスクのような困難な状況での性能向上を図ること。
• 署名、音声、手話認識といった実世界のタスクにおいて、本モデルの有効性を実証すること。

提案手法

• 本モデルは、2つの入力時間系列を同じ再帰ニューラルネットワーク重みを共有するシアンプルアーキテクチャを用いて、潜在的表現に変換する。
• 各時間系列の表現は、タイムステップ全体における最終隠れ状態（SRN-L）またはすべての隠れ状態の平均（SRN-A）から得られる。
• 類似度スコアは、2つの学習済み表現間の重み付き内積として計算される。
• 類似ペアを近づけ、不類似ペアを遠ざけるように、コントラスト分類損失を最小化することで、すべてのモデルパラメータをエンドツーエンドで訓練する。
• 本モデルは、類似または不類似とラベル付けされた時間系列ペアのデータセット上で学習され、類似度メトリックを監視信号から判別的に学習できる。
• 本手法は、MCYT（署名）、アラビア語音声、手話データセットを含む複数のデータセットで評価され、t-SNE可視化と分類精度が用いられている。

実験結果

リサーチクエスチョン

• RQ1 少サンプル学習やワンショット学習の設定において、従来の教師なし手法（例：DTW）と比較して、教師あり深層学習モデルがより効果的な時間系列類似度測定法を学習できるか？
• RQ2 各クラスに少数のトレーニング例しか用意されていない状況で、シアンプル再帰ネットワークはどれほど一般化能力を発揮できるか？
• RQ3 すべての時間系列に共通するグローバルな類似度メトリックを学習することで、クラス多様性が高く、各クラスのサンプル数が少ないタスクでの性能が向上するか？
• RQ4 可視化と分類の結果から、学習済み表現が時間系列間の意味的・構造的類似性をどれほど的確に捉えているか？

主な発見

• 最終隠れ状態を表現として用いるSRN-Lバージョンは、従来の手法（例：DTW）と比較して、ドメイン内およびドメイン外の分類タスクで優れた性能を示した。
• SRN-Lの埋め込みのt-SNE可視化から、類似した署名や音声発話が一貫してグループ化されていることが確認され、意味的に類似した時間系列の有効なクラスタリングが行われていることが示された。
• ワンショット学習実験では、SRNが限られたクラスごとのトレーニングデータでも、本物の署名と偽物の署名を効果的に区別する優れた一般化能力を示した。
• クラスレベルの監視が特徴の学習に不可欠な状況では、DTWのような教師なしベースラインと比較して、SRNがクラスタリングおよび分類の両面で優れた性能を発揮した。
• t-SNEマップから、SRNの埋め込みは、署名におけるペン圧の変動や音声データにおける話者の識別子といった意味的な構造を的確に捉えている一方で、DTWは同クラスのサンプルを効果的にグループ化できていないことが明らかになった。
• 結果から、教師あり時間系列類似度学習が、特にデータが少ない状況において、教師なしや手作業によるアプローチよりも優れた表現学習を可能にすることが示唆された。