[論文レビュー] A Trainable Reconciliation Method for Hierarchical Time-Series

Davide Burba, Trista Chen|arXiv (Cornell University)|Jan 5, 2021

Time Series Analysis and Forecasting参考文献 16被引用数 11

ひとこと要約

本稿では、エンコーダ・デコーダアーキテクチャを用いた、トレーニング可能なニューラルネットワークベースの階層的時系列予測の再統合手法を提案する。エンコーダは独立した予測を一貫性のある最下位レベルの予測にマッピングする学習可能な構造を学習し、固定されたデコーダは上位レベルの予測を正確に再構築する。MASEおよびMLAE指標において、4つの実世界データセットで最先端の手法を常に上回る性能を発揮する。

ABSTRACT

In numerous applications, it is required to produce forecasts for multiple time-series at different hierarchy levels. An obvious example is given by the supply chain in which demand forecasting may be needed at a store, city, or country level. The independent forecasts typically do not add up properly because of the hierarchical constraints, so a reconciliation step is needed. In this paper, we propose a new general, flexible, and easy-to-implement reconciliation strategy based on an encoder-decoder neural network. By testing our method on four real-world datasets, we show that it can consistently reach or surpass the performance of existing methods in the reconciliation setting.

研究の動機と目的

• 既存の再統合手法が不柔軟であり、MASE や MLAE といった特定の予測指標を最適化できないという限界に対処すること。
• 特定の損失関数を最適化可能でありながら、正確な階層制約を維持する一般化可能なトレーニング可能な再統合フレームワークを構築すること。
• 深層学習を活用してデータから一貫性のある再統合パターンを学習することで、階層的時系列予測の精度を向上させること。
• ニューラルネットワークベースのアプローチが、最適結合法やトレース最小化法といった確立された手法と同等またはそれを上回る性能を一貫して達成できることを示すこと。

提案手法

• 本手法は、エンコーダ・デコーダ型のニューラルネットワークアーキテクチャを採用しており、エンコーダは独立した予測を再統合された最下位レベルの予測にマッピングする学習可能な全結合ネットワークである。
• デコーダは、最下位レベルの再統合済み予測からすべての階層レベルの予測を再構築する固定行列であり、階層的制約を正確に満たす。
• モデルは、AdamW最適化法を用いた誤反転誤差バックプロパゲーションにより訓練され、MASE や MLAE といった特定の指標を最適化できるようにカスタム損失関数が使用される。
• エンコーダはボトムアップ法を近似するように初期化されており、学習の安定した出発点を提供し、高品質な解への収束を可能にする。
• ドロップアウト、学習率、重み減衰、エポック数、隠れ層数といったハイパーパrameterは、100通りの組み合わせに対してランダムサーチにより最適化される。
• 固定デコーダ行列による正確な再統合を保ちながら、より表現力の高い表現空間を学習することで、既存手法を一般化する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能なニューラルネットワークアプローチは、非トレーニング可能な解析的手法に比べ、階層的時系列予測の再統合精度を向上させることができるか？
• RQ2 提案手法は、深さや複雑さが異なる多様な階層構造および実世界データセットに一般化可能か？
• RQ3 損失関数の設計により、MASE や MLAE といった特定指標の最適化が、モデル性能にどの程度まで影響を与えるか？
• RQ4 複数のデータセットにおいて、最適結合法、トレース最小化法、トップダウン/ボトムアップ手法と比較して、本手法の性能はどの程度か？
• RQ5 モデルの初期化およびアーキテクチャ設計が、再統合タスクにおける収束性および最終的性能に与える影響はいかほどか？

主な発見

• 提案手法は、MASEおよびMLAEの両指標において、4つの実世界データセットすべてで最良または最良に近い性能を達成しており、一部のケースでは統計的に有意な改善を示した。
• オーストラリア小売データセットでは、レベル3でMASE 0.4923を達成し、次善の手法（OC）の0.5377を上回った。
• 電力消費データセットでは、レベル3でMASE 0.4434を達成し、最良手法（BU）と同等の性能を示し、OC（0.4630）およびTM（0.4555）を顕著に上回った。
• 深さのある階層構造を有するデータセットにおいて、特に高い改善が見られたことから、複雑な多段階予測構造における強みが示された。
• 乳製品データセットでは、レベル0でMASE 1.0840を達成し、BU（1.0865）およびTM（1.0868）をわずかに上回り、全レベルでMLAEに一貫した改善を示した。
• 本手法は指標および階層レベルを問わず高いロバスト性を示し、TDHP、TDFP、OCと比較して性能のばらつきが低く、安定した結果を示した。