[論文レビュー] TILDE-Q: A Transformation Invariant Loss Function for Time-Series Forecasting

Hyunwook Lee, Chunggi Lee+2 more|arXiv (Cornell University)|Oct 26, 2022

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、振幅および位相ゆがみに対して不変であるように設計された、時系列予測のための新しい変換不変損失関数TILDE-Qを提案する。TILDE-Qは、複数のゆがみタイプにわたる距離のバランスをとることで、短期間および長期の予測タスクにおいて予測精度を向上させ、N-BEATS や Informer といった最先端のモデルを用いた実世界のデータセットでも、MSE や DTW、TDI、LCSS を上回る性能を発揮する。

ABSTRACT

Time-series forecasting has gained increasing attention in the field of artificial intelligence due to its potential to address real-world problems across various domains, including energy, weather, traffic, and economy. While time-series forecasting is a well-researched field, predicting complex temporal patterns such as sudden changes in sequential data still poses a challenge with current models. This difficulty stems from minimizing Lp norm distances as loss functions, such as mean absolute error (MAE) or mean square error (MSE), which are susceptible to both intricate temporal dynamics modeling and signal shape capturing. Furthermore, these functions often cause models to behave aberrantly and generate uncorrelated results with the original time-series. Consequently, developing a shape-aware loss function that goes beyond mere point-wise comparison is essential. In this paper, we examine the definition of shape and distortions, which are crucial for shape-awareness in time-series forecasting, and provide a design rationale for the shape-aware loss function. Based on our design rationale, we propose a novel, compact loss function called TILDEQ (Transformation Invariant Loss function with Distance EQuilibrium) that considers not only amplitude and phase distortions but also allows models to capture the shape of time-series sequences. Furthermore, TILDE-Q supports the simultaneous modeling of periodic and nonperiodic temporal dynamics. We evaluate the efficacy of TILDE-Q by conducting extensive experiments under both periodic and nonperiodic conditions with various models ranging from naive to state-of-the-art. The experimental results show that the models trained with TILDE-Q surpass those trained with other metrics, such as MSE and DILATE, in various real-world applications, including electricity, traffic, illness, economics, weather, and electricity transformer temperature (ETT).

研究の動機と目的

• 標準的な損失関数（MSE や MAE）が時系列データの時間的形状ダイナミクスを捉えられていないという限界を解消すること。
• 一般的なゆがみ（振幅シフト、位相シフト、均一な増幅）に対して不変であるような損失関数を設計することで、より良い形状に配慮した予測を可能にすること。
• 既存の予測モデルのアーキテクチャを変更することなく、時間的ダイナミクスのモデリングを向上させることを目的とした、モデルに依存しない損失関数を開発すること。
• TILDE-Q を用いた形状に配慮した学習が、短期間および長期の予測タスクにおいて、より情報量が多く、正確で、かつ頑健な時系列予測をもたらすことを実証的に検証すること。

提案手法

• TILDE-Q は、振幅シフト、位相シフト、均一な増幅の各タイプのゆがみに対して不変性を実現する3つの異なる項を備えた合成損失関数として構築される。
• 損失関数には、各ゆがみ不変項の寄与をバランスさせる距離のバランス機構が組み込まれており、安定的かつ効果的な最適化を保証する。
• 形状を保つ変換を通じたバックプロパゲーションを可能にする微分可能定式化を活用しており、深層学習モデルとのエンドツーエンド学習を可能にする。
• 本手法は、予測シーケンスと正解シーケンスの間の変換群に対して不変であるように設計されており、単なる値の差異ではなく、変換の不変性を重視する。
• TILDE-Q は任意のシーケンス・トゥ・シーケンス予測モデルと互換性があり、モデルに依存せず、既存のパイプラインへの容易な統合が可能である。
• 損失関数は標準的な深層学習の訓練手順を用いて最適化され、標準的な学習率や重み減衰以外の追加ハイパーパrameterは不要である。

実験結果

リサーチクエスチョン

• RQ1 振幅および位相ゆがみに対して不変でありながら、時系列予測における形状の忠実性を維持できる損失関数を設計できるか？
• RQ2 TILDE-Q を用いた形状に配慮した学習は、MSE や DTW といった標準的な指標と比較して、予測精度および時間的ダイナミクスの捉え方においてどのように異なるか？
• RQ3 TILDE-Q は、多様な実世界のデータセットにおける短期間および長期の予測タスクで性能を向上させるか？
• RQ4 TILDE-Q は、ベースライン損失関数と比較して、予測の頑健性および情報量の向上にどの程度寄与するか？
• RQ5 N-BEATS や Informer といった最先端モデルに対して、アーキテクチャの変更なしに TILDE-Q を効果的に適用できるか？

主な発見

• ETT データセットでは、MSE で訓練された N-BEATS と比較して、TILDE-Q で訓練されたモデルが LCSS スコアで10%の向上を達成し、形状の保持性が優れていることが示された。
• 長期予測（L=720）において、TILDE-Q はすべての実世界データセット（ETTh2, ETTm2, ECL）で MSE や DILATE を上回り、MSE で平均15–20%、LCSS で10%の改善を示した。
• ECG5000 データセットでは、DILATE がノイズに非常に敏感であるため性能が劣ったが、TILDE-Q はノイズ環境下でも安定した性能を維持し、その安定性を示した。
• 短期間予測（L=96）において、TILDE-Q は ETTh2 で最小の MSE（0.1494）、ECL で最小の LCSS（0.6912）を達成し、すべてのベースラインを上回った。
• アブレーションスタディの結果、TILDE-Q の各構成要素が不変性および形状認識に寄与しており、完全な損失関数がすべての指標およびデータセットで最良の結果をもたらしたことが確認された。