[論文レビュー] The Effectiveness of Discretization in Forecasting: An Empirical Study on Neural Time Series Models

Stephan Rabanser, Tim Januschowski+3 more|arXiv (Cornell University)|May 20, 2020

Time Series Analysis and Forecasting被引用数 17

ひとこと要約

本稿は、連続値時系列をカテゴリカルなビンに変換するデータ離散化が、ニューラルモデルの予測性能に与える影響を調査する。ビニングが、フィードフォワード、再帰的、畳み込みアーキテクチャのすべてにおいて一貫して予測精度を向上させることを発見した。また、ビニング手法の選択よりも変換自体の影響が顕著であることが判明した。

ABSTRACT

Time series modeling techniques based on deep learning have seen many advancements in recent years, especially in data-abundant settings and with the central aim of learning global models that can extract patterns across multiple time series. While the crucial importance of appropriate data pre-processing and scaling has often been noted in prior work, most studies focus on improving model architectures. In this paper we empirically investigate the effect of data input and output transformations on the predictive performance of several neural forecasting architectures. In particular, we investigate the effectiveness of several forms of data binning, i.e. converting real-valued time series into categorical ones, when combined with feed-forward, recurrent neural networks, and convolution-based sequence models. In many non-forecasting applications where these models have been very successful, the model inputs and outputs are categorical (e.g. words from a fixed vocabulary in natural language processing applications or quantized pixel color intensities in computer vision). For forecasting applications, where the time series are typically real-valued, various ad-hoc data transformations have been proposed, but have not been systematically compared. To remedy this, we evaluate the forecasting accuracy of instances of the aforementioned model classes when combined with different types of data scaling and binning. We find that binning almost always improves performance (compared to using normalized real-valued inputs), but that the particular type of binning chosen is of lesser importance.

研究の動機と目的

• 入力および出力データ変換（特に離散化）がニューラル時系列予測モデルの性能に与える影響を体系的かつ評価すること。
• 特にデータ豊富でグローバルモデリングが可能な環境において、時系列予測におけるさまざまなデータ前処理手法の間の実証的比較が不足しているという点を是正すること。
• 自然言語処理やコンピュータビジョンで一般的に用いられる離散化が、連続値時系列の予測精度を向上させるかどうかを検証すること。
• 等幅、等頻度、分位数ベースなどのビニング戦略の選択が、モデル性能に顕著な影響を及えるかどうかを評価すること。
• 入力および出力変換が、ニューラル時系列予測モデルにおけるアーキテクチャの違いよりも、性能に大きな影響を及えるかどうかを調査すること。

提案手法

• 正規化、標準化、対数/ボックスコックス変換、およびさまざまなビニング戦略（等幅、等頻度、分位数ベース）を含む、複数の入力および出力変換手法を実証的に比較する。
• フィードフォワードネットワーク、再帰的ニューラルネットワーク（RNN）、1次元の拡張因果畳み込みネットワークを含む、多様なニューラル時系列予測アーキテクチャにこれらの変換を適用する。
• 予測の確率的設定を採用し、分位数回帰、混合密度ネットワーク、離散化ロジスティック混合尤度を出力モデリングに用いる。
• MASE、sMAPE、CRPSといった標準的な指標を用いて、複数の公開時系列データセットでモデルを評価する。
• パネル全体（グローバル）と個々の時系列（ローカル）の両方のビニングを組み合わせたハイブリッドビニング戦略を実装し、共通パターンと固有のパターンを捉える。
• 変換の影響をモデル固有の最適化から分離するために、広範なハイパーパramータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 連続値時系列の入力を離散化することで、フィードフォワード、RNN、畳み込みモデルを含む多様なニューラルアーキテクチャにおいて、予測性能が向上するか？
• RQ2 等幅、等頻度、分位数ベースなどの異なるビニング戦略は、予測精度においてどのように比較されるか？
• RQ3 入力および出力変換の影響が、モデルアーキテクチャの違いよりも同程度またはそれ以上に予測性能に与える影響を及えるか？
• RQ4 グローバルおよびローカルの両方の影響を組み合わせたハイブリッドビニング戦略は、純粋にグローバルまたはローカルなアプローチよりも予測性能を向上させるか？
• RQ5 連続的な順序および距離情報が失われるにもかかわらず、離散化が予測の有用性をどの程度保持しているか？

主な発見

• フィードフォワード、RNN、畳み込みモデルを含む、すべてのテストされたニューラルアーキテクチャにおいて、入力時系列の離散化が一貫して予測性能を向上させる。
• ビニング手法の選択（例：等幅、等頻度、分位数ベース）が性能に与える影響は最小限であり、さまざまなビニング方式に対して強いロバストネスを示している。
• 入力および出力変換が、モデルアーキテクチャの違いよりも予測性能に大きな影響を及えることが判明し、予測パイプラインにおけるその重要性を示している。
• カテゴリカル分布は連続的な順序および距離情報を無視しているが、驚くべきほど良好に機能しており、ビニングが正確な予測に十分な信号を捉えていることが示唆されている。
• グローバルおよびローカルビニングを組み合わせたハイブリッドビニング戦略は、共通パターンと個別時系列の特徴を活用できるため、有望な結果を示している。
• 本研究は、離散化の利点を保ちつつ順序および距離情報を取り入れる手法（例：離散化ロジスティック混合尤度）のさらなる研究の必要性を強調している。