[論文レビュー] Extended Deep Adaptive Input Normalization for Preprocessing Time Series Data for Neural Networks

Marcus A. K. September, Francesco Sanna Passino+2 more|arXiv (Cornell University)|Oct 23, 2023

Time Series Analysis and Forecasting被引用数 5

ひとこと要約

本稿では、zスコアや最小-最大スケーリングといった静的正規化手法の限界を克服するため、歪度、外れ値、重たい尾を持つ不規則な多次元時系列データを、エンド・トゥ・エンドのバックプロパゲーションによって学習する、EDAIN（拡張されたディープ適応型入力正規化）と呼ばれる新しいニューラルネットワーク層を提案する。合成データ、クレジットデフォルト、リミットオーダーブックのデータセットにおいて、静的正規化および既存の適応型手法を上回る性能を発揮し、正規化パラメータとモデル重みを同時に最適化することで、性能を向上させた。

ABSTRACT

Data preprocessing is a crucial part of any machine learning pipeline, and it can have a significant impact on both performance and training efficiency. This is especially evident when using deep neural networks for time series prediction and classification: real-world time series data often exhibit irregularities such as multi-modality, skewness and outliers, and the model performance can degrade rapidly if these characteristics are not adequately addressed. In this work, we propose the EDAIN (Extended Deep Adaptive Input Normalization) layer, a novel adaptive neural layer that learns how to appropriately normalize irregular time series data for a given task in an end-to-end fashion, instead of using a fixed normalization scheme. This is achieved by optimizing its unknown parameters simultaneously with the deep neural network using back-propagation. Our experiments, conducted using synthetic data, a credit default prediction dataset, and a large-scale limit order book benchmark dataset, demonstrate the superior performance of the EDAIN layer when compared to conventional normalization methods and existing adaptive time series preprocessing layers.

研究の動機と目的

• 歪度、外れ値、重たい尾を持つ不規則な時系列データを扱う際、zスコアや最小-最大スケーリングといった静的正規化手法の限界を是正すること。
• 正規化をニューラルネットワークアーキテクチャに統合する、自動的かつエンド・トゥ・エンドでトレーニング可能な前処理レイヤーを構築すること。
• タスク固有の正規化を学習することで、多次元時系列データに対するディープニューラルネットワークの予測性能と学習効率を向上させること。
• グローバル・アウェアおよびローカル・アウェアなバリエーションを用いて、ユニモーダルおよびマルチモーダルなデータ分布への柔軟な正規化ソリューションを提供すること。
• Kullback-Leiblerダイバージェンスを用いたEDAIN-KLにより、ラベルなしで非ニューラルモデルと互換性を持つ非教師あり正規化を可能とすること。

提案手法

• EDAINは、DAINフレームワークを拡張し、適応型外れ値低減サブレイヤーとパワー変換サブレイヤーを追加した微分可能なニューラルレイヤーである。
• パワー変換サブレイヤーは、歪度を低減し分散を安定化させるために、学習可能なパラメータを用いて非線形変換を適用する。
• 外れ値低減は、正規化中に極端な値の重みを下げることで達成される、学習可能なスケーリング機構を用いる。
• レイヤーは、PDF評価のキャッシュされたルックアップテーブルを用いた台形積分とバイナリサーチにより、逆累積分布関数（CDF）を推定する。
• 2種類のバリエーションを導入：ユニモーダルデータ向けのグローバル・アウェア、マルチモーダルデータ向けのローカル・アウェアで、それぞれデータの下位分布に適合する。
• EDAIN-KLは、Kullback-Leiblerダイバージェンスによる学習を経由する計算効率の良いバリエーションであり、ラベルなしで非教師あり正規化を可能にする。

Figure 1: Architecture of the proposed EDAIN (Extended Deep Adaptive Input Normalization) layer. The layout and color choices of the diagram are based on Figure 1 from Passalis et al., ( 2020 ) .

実験結果

リサーチクエスチョン

• RQ1 データから学習する適応型正規化レイヤーは、静的正規化と比較して、不規則な時系列データにおけるディープニューラルネットワークの性能を向上させることができるか？
• RQ2 EDAINは、歪度、重たい尾、外れ値を有する複雑な不規則性を示す時系列データにおいて、どのように性能を発揮するか？
• RQ3 モデル重みと正規化パラメータをエンド・トゥ・エンドで最適化することで、一般化性能と学習効率が向上するか？
• RQ4 グローバル・アウェアとローカル・アウェアなEDAINの2つのバリエーションは、ユニモーダルとマルチモーダルなデータ分布の両方をどのように処理するか？
• RQ5 EDAIN-KLは、非ニューラルモデルと互換性を持つ有効な非教師あり正規化を提供できるか？

主な発見

• EDAINは、合成データ、クレジットデフォルト、リミットオーダーブックのすべてのベンチマークデータセットで、従来のzスコアおよび最小-最大スケーリングを上回る性能を発揮した。
• Amexクレジットデフォルト予測データセットでは、EDAINはベースラインの正規化手法よりも高いAmexスコアを達成し、順位付け精度とデフォルト率の捕捉精度が向上したことを示した。
• マルチモーダルデータではローカル・アウェアなEDAINが優れた性能を示した一方、ユニモーダル分布ではグローバル・アウェアなバージョンが優れていることが確認された。
• EDAIN-KLは非教師あり正規化において競争力のある結果を達成し、KLベースの学習がラベルなしで効果的な正規化を可能にすることを示した。
• アブレーションスタディにより、パワー変換サブレイヤーと外れ値低減サブレイヤーの両方が性能向上に顕著な貢献をしていることが確認された。
• EDAINを用いたエンド・トゥ・エンド学習は、固定された前処理パイプラインと比較して、手動でのハイパーパramータチューニングの必要性を低減し、収束を加速した。

Figure 2: Visual comparison of the local- and global-aware versions of adaptive preprocessing schemes.