[論文レビュー] Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation

Elizabeth Fons, P Dawson+3 more|arXiv (Cornell University)|Feb 16, 2021

Time Series Analysis and Forecasting参考文献 23被引用数 17

ひとこと要約

本論文は時系列分類のための2つのサンプル適応型データ拡張法を提案する：W-Augmentは各拡張サンプルの損失寄与度に動的でサンプル固有の重みを学習するものであり、α-トリムド Augmentは予測損失に基づいて最も効果的な変換を選択するものである。これらの手法は金融データセットで年間リターンを50%以上向上させ、UCR時系列データセットの半数以上で最先端のモデルを上回り、適応的で学習可能な拡張方針によって優れた一般化性能を示している。

ABSTRACT

Data augmentation methods have been shown to be a fundamental technique to improve generalization in tasks such as image, text and audio classification. Recently, automated augmentation methods have led to further improvements on image classification and object detection leading to state-of-the-art performances. Nevertheless, little work has been done on time-series data, an area that could greatly benefit from automated data augmentation given the usually limited size of the datasets. We present two sample-adaptive automatic weighting schemes for data augmentation: the first learns to weight the contribution of the augmented samples to the loss, and the second method selects a subset of transformations based on the ranking of the predicted training loss. We validate our proposed methods on a large, noisy financial dataset and on time-series datasets from the UCR archive. On the financial dataset, we show that the methods in combination with a trading strategy lead to improvements in annualized returns of over 50$\%$, and on the time-series data we outperform state-of-the-art models on over half of the datasets, and achieve similar performance in accuracy on the others.

研究の動機と目的

• 小規模でノイズの多いデータセットが一般的な時系列データに対して、自動的かつ適応的なデータ拡張が不足しているという問題に対処すること。
• 個々のサンプルの性能に基づいて、動的に重み付けまたは選択される拡張を可能にするサンプル適応型ポリシーを構築すること。
• 最適な変換戦略を学習することで、時系列分類におけるモデルの一般化性能とロバスト性を向上させること。
• 実世界の金融データとUCR時系列データセットを用いて、提案手法の有効性を検証すること。
• 適応的拡張が、固定ポリシー（例：RandAugment）よりも精度および金融的パフォーマンスの両面で優れていることを示すこと。

提案手法

• W-Augmentは、バックプロパゲーション中に各拡張サンプルの損失寄与度に動的でサンプル固有の重みを割り当てる学習可能な重みベクトルを導入する。
• α-トリムド Augmentは、各サンプルごとに予測訓練損失に基づいて変換のサブセットを選択し、最も性能が悪いものを除外する。
• すべての拡張に対して一様に強度を制御するための単一の歪み強度パラメータ M を使用し、ハイパーパramータ探索空間を縮小する。
• 手法は、5つの1次元畳み込みニューラルネットワーク（1D CNN）のアンサンブルであるInceptionTimeと統合され、ネットワークと拡張重みの共同最適化によりエンドツーエンドで訓練される。
• ミニバッチに等確率で適用するが、性能向上のためのサンプル適応的学習を追加することで、時系列データにRandAugmentを拡張する。
• ハイパーパramータチューニングにより、検証精度を用いてMを{1,5,10,15,20}から選択し、最終モデルは5つのデータ分割の結果を平均化する。

実験結果

リサーチクエスチョン

• RQ1 固定的で非適応的なポリシーと比較して、サンプル適応的データ拡張は時系列分類性能を向上させることができるか？
• RQ2 個々のサンプルの損失に基づいて拡張を重み付けまたは選択する学習が、時系列データにおける一般化性能を向上させるか？
• RQ3 適応的拡張は、特に投資リターンの観点から、時系列金融予測において顕著に性能向上をもたらすか？
• RQ4 含める変換の数が性能に与える影響は何か？また、適応的選択は不適切な拡張を緩和できるか？
• RQ5 提案手法は、標準的なUCR時系列ベンチマークでRandAugmentや他の最先端モデルを上回ることができるか？

主な発見

• S&P500金融データセットでは、提案手法と取引戦略を組み合わせることで、年間リターンが50%以上向上した。
• UCR時系列データセットでは、W-Augmentは12個のデータセットのうち6つでベースラインを上回り、残りの6つでは同等またはそれを上回った。
• 8つの変換を用いた場合、W-Augmentは12個のデータセットのうち8つで勝ちまたは引き分けを記録したが、RandAugmentは5つにとどまった。これは、劣化した拡張の処理に優れていることを示している。
• α-トリムド Augmentは12個のデータセットのうち7つでベースラインを上回り、5つでは同等の性能を示した。これは、選択的拡張の有効性を示している。
• W-Augmentの学習された重みは、InceptionTimeの5つのモデル全体で一貫した挙動を示し、元のサンプルに高い重みが割り当てられ、データセットに応じて動的に適応した。
• W-Augmentとα-トリムド Augmentを用いた場合、変換数を増やすと検証精度が向上した。これは、拡張セットのサイズに強く依存しないスケーラビリティとロバスト性を示している。