[論文レビュー] Online Learning for Time Series Prediction

Oren Anava, Elad Hazan+2 more|arXiv (Cornell University)|Feb 27, 2013

Advanced Bandit Algorithms Research参考文献 14被引用数 71

ひとこと要約

本稿では、弱いノイズ仮定（ゼロ平均、i.i.d. または正規性の要件なし）のもとでも、最良のARMA予測子に対するサブリニアなレグレットを達成する、時系列予測のためのオンライン学習フレームワークを提案する。レグレット最小化と不正則学習を活用することで、性能が漸近的に最適なARMAモデルに一致し、二乗損失に対して$O(\log^2 T)$のレグレットバウンドを達成する。また、相関のあるまたは敵対的なノイズに対してもロバストである。

ABSTRACT

In this paper we address the problem of predicting a time series using the ARMA (autoregressive moving average) model, under minimal assumptions on the noise terms. Using regret minimization techniques, we develop effective online learning algorithms for the prediction problem, without assuming that the noise terms are Gaussian, identically distributed or even independent. Furthermore, we show that our algorithm's performances asymptotically approaches the performance of the best ARMA model in hindsight.

研究の動機と目的

• ノイズ項に対して強い統計的仮定（独立性、同一分布、正規性など）を緩和する一般化されたオンライン学習手法を時系列予測に開発すること。
• オンライン設定においてレグレット最小化技術を用いることで、任意または敵対的に生成されたノイズに対しても効果的な予測を可能にすること。
• 真のモデルパラメータやノイズが未知であっても、最良のARMAモデルに対するサブリニアなレグレットを達成すること。
• 二乗損失に限定されない一般の凸および指数的凸（exp-concave）損失関数へフレームワークを拡張すること。
• 合成時系列および実世界の時系列（気象データや金融データを含む）における実験的妥当性を検証すること。

提案手法

• 予測は将来のデータやノイズの知識なしに逐次的に行われるオンライン凸最適化とレグレット最小化を用いる。
• 一般の凸損失関数と指数的凸損失関数の両方を対象とした2つのアルゴリズムを提案し、最良のARMAモデルに対するレグレットを最小化することを目的とする。
• 不正則学習を採用することで、真のARMA構造よりも広いモデルクラスを用いることができ、適応性が向上する。
• 二乗損失の場合、$O(\log^2 T)$のレグレットバウンドを達成し、最良のARMAモデルの性能に漸近的に近づく。
• i.i.d. でないノイズ、特に相関のあるノイズや敵対的ノイズに対しても、ゼロ平均仮定のみに依存することで処理可能である。
• 理論的分析は、合成ARMA過程および実世界の時系列（月次海面水温やS&P500の日次リターンなど）における実験的評価によって裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. または正規性を仮定しない条件下でも、オンライン学習アルゴリズムが時系列予測においてサブリニアなレグレットを達成できるか？
• RQ2 弱いノイズ仮定のもとで、オンラインARMA予測の性能は最良のARMAモデル（後向きに最適なモデル）に対してどの程度の性能を示すか？
• RQ3 このフレームワークは、二乗損失に限定されない一般の凸および指数的凸損失関数へ拡張可能か？
• RQ4 相関のあるまたは敵対的に生成されたノイズに対して、この手法はどの程度ロバストか？
• RQ5 複雑なダイナミクスを示す実世界の時系列において、オンライン手法は従来のオフライン手法を上回る性能を示すか？

主な発見

• 提案されたオンライン学習アルゴリズムは、二乗損失関数に対して、最良のARMAモデルに対する$O(\log^2 T)$のレグレットバウンドを達成する。
• 相関のあるノイズに対してもロバストに性能を発揮し、平均誤差がノイズ分散（例：1つの実験で0.09）に収束する傾向を示し、適応性の高さが裏付けられる。
• 実験的結果では、係数が急激に変化する合成ARMA過程においても、オンライン手法が標準的手法を上回る性能を示す。
• 実世界のデータ（月次海面水温など）では、オンライン手法が季節的パターンを効果的に学習し、ベースラインモデルを上回る性能を示す。
• S&P500の日次リターンのような金融時系列では、ARMAモデル単体では不十分であるが、オンライン手法はモデルの制限にもかかわらず、妥当な性能を示す。
• ノイズが敵対的に生成されても、ゼロ平均が保たれていれば、フレームワークは依然として有効であり、最小限の仮定のもとで強力な一般化性能を示す。