[論文レビュー] Theory and Algorithms for Forecasting Time Series

Vitaly Kuznetsov, Mehryar Mohri|arXiv (Cornell University)|Mar 15, 2018

Complex Systems and Time Series Analysis参考文献 22被引用数 8

ひとこと要約

本稿では、新しい不一致測度と逐次的複雑性を用いて、非定常的かつ非混合的時系列予測のためのデータ依存型一般化境界を導入する。定常性や混合性の仮定なしに成り立つ理論的保証を持つ凸最適化ベースのアルゴリズムを提案し、弱い依存性下でも実用的な予測が可能になる。

ABSTRACT

We present data-dependent learning bounds for the general scenario of non-stationary non-mixing stochastic processes. Our learning guarantees are expressed in terms of a data-dependent measure of sequential complexity and a discrepancy measure that can be estimated from data under some mild assumptions. We also also provide novel analysis of stable time series forecasting algorithm using this new notion of discrepancy that we introduce. We use our learning bounds to devise new algorithms for non-stationary time series forecasting for which we report some preliminary experimental results.

研究の動機と目的

• 時系列予測における非定常的・非混合的確率過程に対する一般化境界の欠如に取り組む。
• 混合性や定常性の仮定がなくても、データから推定可能な不一致測度を定義し、データ依存型学習保証を可能にする。
• 安定性に基づく解析を非定常的・非混合的過程へと拡張し、予測アルゴリズムの設計を支援する。
• 非凸尤度最大化や差分変換を回避する凸最適化ベースの予測アルゴリズムを設計する。
• 古典的時系列モデルで一般的に用いられる定常性および混合性の仮定の違反に対しても耐性のある予測モデルの理論的基盤を提供する。

提案手法

• 非定常過程における分布シフトを定量化するため、標本分布とターゲット分布の間のデータ依存型不一致測度を導入する。
• 逐次的複雑性の測度として、期待順次的カバー数と逐次的ラデマッハ複雑性を学習境界に用いる。
• 逐次的複雑性と不一致を組み合わせた一般化境界を導出し、有界記憶モデルおよび無限記憶モデルの両方に有効であることを示す。
• 安定な予測アルゴリズムにこれらの境界を適用し、従来の混合過程からの結果を非混合的・非定常的設定へと拡張する。
• 目的関数の双対化と変数 $ q_t $ を用いた再重み付けスキームを導入することで、時系列予測のための凸最適化問題を定式化し、計算が容易なアルゴリズムを導く。
• 変数変換 $ r_t = 1/q_t $ を用いて、プライマル最適化問題を計算に適した双対形式に変換する。

実験結果

リサーチクエスチョン

• RQ1 非定常的・非混合的確率過程下での時系列予測に対して、一般化境界を確立できるか？
• RQ2 混合性や定常性が成り立たない状況下でも、データから推定可能な不一致測度を定義でき、データ依存型学習保証を可能にするか？
• RQ3 安定性に基づく解析を非定常的・非混合的過程へと拡張し、アルゴリズム設計を支援できるか？
• RQ4 凸最適化を用いて、非凸尤度最大化や差分変換を回避する予測アルゴリズムを設計できるか？
• RQ5 提案された境界とアルゴリズムは、実際の応用において、古典的ARIMAモデルやi.i.d.学習理論の仮定に比べてどの程度改善をもたらすか？

主な発見

• 本稿は、非定常的・非混合的確率過程に対する一般化境界を初めて確立した。これは定常ケースにおいても新規性を持つ。
• 導入された不一致測度は、弱い仮定のもとでデータから推定可能であり、混合性や定常性の仮定なしにデータ依存型学習保証を可能にする。
• 提案された予測アルゴリズムは凸最適化に基づくため、一意のグローバル解が保証され、最尤推定における非凸性の問題を回避する。
• 理論的境界により、予測誤差が逐次的複雑性と標本分布とターゲット分布の不一致に制御されることを示す。
• アルゴリズムは一般化誤差境界 $ ext{disc}( extbf{q}) + G( extbf{q}) $ を達成する。ここで $ G( extbf{q}) $ は $ ilde{C}_T $、$ extbf{q}^* $、および最適重みベクトルからの $ L_1 $-距離の対数項に依存する。
• 予備的な実験結果は、提案されたアルゴリズムが非定常設定において実行可能で効果的であることを示しており、従来手法に比べてロバストネスと最適化安定性の面で優れている。