[論文レビュー] Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher

Brian Kenji Iwana, Seiichi Uchida|arXiv (Cornell University)|Apr 19, 2020

Time Series Analysis and Forecasting参考文献 41被引用数 13

ひとこと要約

本稿では、動的時系列ワープ（DTW）およびshapeDTWを用いて、ソースパターンの特徴を基準パターンの時間的構造と決定的に混合する、新しい時系列データ拡張手法であるガイドドワープを提案する。判別的教師を最近接重心分類器を用いて選択することで、深層ニューラルネットワークの汎化性能が向上し、VGGでは最大9.5%、Image Outlineデータセットでは6.2%の精度向上を達成した。特に畳み込みニューラルネットワーク（CNN）に対して有効であるが、RNNでは顕著な向上が見られない。

ABSTRACT

Neural networks have become a powerful tool in pattern recognition and part of their success is due to generalization from using large datasets. However, unlike other domains, time series classification datasets are often small. In order to address this problem, we propose a novel time series data augmentation called guided warping. While many data augmentation methods are based on random transformations, guided warping exploits the element alignment properties of Dynamic Time Warping (DTW) and shapeDTW, a high-level DTW method based on shape descriptors, to deterministically warp sample patterns. In this way, the time series are mixed by warping the features of a sample pattern to match the time steps of a reference pattern. Furthermore, we introduce a discriminative teacher in order to serve as a directed reference for the guided warping. We evaluate the method on all 85 datasets in the 2015 UCR Time Series Archive with a deep convolutional neural network (CNN) and a recurrent neural network (RNN). The code with an easy to use implementation can be found at https://github.com/uchidalab/time_series_augmentation .

研究の動機と目的

• 小規模な時系列分類データセットが深層ニューラルネットワークの性能を制限するという課題に対処する。
• 時系列データ拡張において、ランダムまたはヒューリスティックな手法の限界を克服し、構造に配慮した決定的アプローチを導入する。
• 判別的基準を用いた時間的ワープによるターゲットパターン混合を通じて、モデルの汎化性能と意思決定境界の学習を向上させる。
• ガイドドワープがshapeDTWと判別的教師を組み合わせることで、特にCNNに対して、深層学習モデルの性能を顕著に向上させることを実証する。

提案手法

• ガイドドワープは、DTWを用いてソース時系列の特徴を基準時系列の時間ステップ構造に整合させることで、局所的パターンを保持しつつ、時間的ばらつきに適応する。
• 特徴の保存を向上させるために、要素ごとの一致ではなく高レベルの形状記述子を用いるshapeDTWを適用し、整合性の高い滑らかな一致を実現する。
• 最近接重心分類器を用いてブートストラップサンプルから判別的教師を選択することで、クラス間およびクラス内分離を最大化し、情報量の多い基準を保証する。
• 選択された判別的教師の時間ステップ構造に従ってソースパターンをワープすることで、合成トレーニングサンプルを生成し、データセットの多様性を向上させる。
• 本手法は、すべての85個のUCR時系列アーカイブデータセットに対して、VGGおよびLSTMモデルを用いて標準的なトレーニングプロトコルとハイパーパrameterを用いて評価された。
• 実装はhttps://github.com/uchidalab/time_series_augmentationに公開されており、再現性および統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 DTWに基づくワープを、ランダム変換ではなく決定的かつ効果的な時系列データ拡張に応用できるか？
• RQ2 標準的なDTWではなくshapeDTWを用いることで、拡張された時系列サンプルの品質と関連性が向上するか？
• RQ3 クラス分離に基づいて選択された判別的教師が、ランダムまたはメドイドベースの基準を上回る性能を示すか？
• RQ4 ガイドドワープが深層ニューラルネットワーク、特にCNNとRNNにおいて汎化性能と精度を向上させるか？
• RQ5 多様なデータセットにおいて、既存の最先端手法と比較してガイドドワープはどのように性能を発揮するか？

主な発見

• VGGベースのCNNを用いた場合、shapeDTWと判別的教師を組み合わせたガイドドワープ（DGW-sD）は、全85個のUCRデータセットで平均3-4%の精度向上を達成した。
• 最大の精度向上は、Simulated（+9.5%）、Image Outline（+6.2%）、Device（+5.1%）データセットで観察され、合成的および構造的時系列データに対して優れた性能を示した。
• 判別的教師の使用は、DTWおよびshapeDTWの両方のバリアントにおいて、ランダムな基準選択よりも性能を向上させた。これは、ターゲット基準選択の価値を示している。
• LSTMモデルでは、提案手法による精度向上が顕著ではなく、RNNが時間的歪みに対して本質的に頑健であるため、本手法は特にCNNに対して最も効果的であると考えられる。
• VGGでは、DGW-sDはすべてのベースラインデータ拡張手法を上回り、COTEおよびShapelet Transformに次いで優れた結果を達成した。
• 本手法はデータセットの種別にかかわらず安定しており、特に構造的一致性が重要なSymbol、OliveOil、ShapeletSimデータセットで顕著な改善が見られた。