[論文レビュー] Learning from the past, predicting the statistics for the future, learning an evolving system

Daniel Levin, Terry Lyons+1 more|arXiv (Cornell University)|Sep 1, 2013

Gaussian Processes and Bayesian Inference参考文献 19被引用数 66

ひとこと要約

本稿では、粗いパス理論から導かれるパスのシグネチャ——パスの普遍的特徴量——を用いた、ストリーミングデータ向けの新規非パラメトリック回帰フレームワークを提案する。シグネチャの切断により、線形特徴量よりも明確に優れた次元削減が可能となり、計算コストを著しく低減しつつ、高周波で複雑な振動を示すシステムの正確な予測が可能になる。ガウス過程と比較して、特にスケールが大きい場合に顕著な計算コストの低減が達成される。

ABSTRACT

We bring the theory of rough paths to the study of non-parametric statistics on streamed data. We discuss the problem of regression where the input variable is a stream of information, and the dependent response is also (potentially) a stream. A certain graded feature set of a stream, known in the rough path literature as the signature, has a universality that allows formally, linear regression to be used to characterise the functional relationship between independent explanatory variables and the conditional distribution of the dependent response. This approach, via linear regression on the signature of the stream, is almost totally general, and yet it still allows explicit computation. The grading allows truncation of the feature set and so leads to an efficient local description for streams (rough paths). In the statistical context this method offers potentially significant, even transformational dimension reduction. By way of illustration, our approach is applied to stationary time series including the familiar AR model and ARCH model. In the numerical examples we examined, our predictions achieve similar accuracy to the Gaussian Process (GP) approach with much lower computational cost especially when the sample size is large.

研究の動機と目的

• リアルタイム応用における高周波で変動するデータストリームの効果を、効率的にモデル化・予測する課題に対処すること。
• 古典的なサンプリング法や線形特徴抽出手法の限界を克服し、確率的システムにおける重要なパス依存的ダイナミクスを捉えること。
• データストリームに対して、普遍的で非パラメトリックな特徴表現を構築し、強固な回帰と統計的予測を可能にすること。
• シグネチャに基づくアプローチが、ガウス過程と同等の予測精度を維持しながら、計算効率に優れることを示すこと。
• 理論的裏付けが強く、計算効率に優れたフレームワークを提供し、ファイナンス、信号処理、確率的ダイナミクス分野における変化するシステムのモデリングを可能にすること。

提案手法

• 本稿では、データストリームの繰り返し積分から導かれる、階層的かつ非線形な特徴量であるパスのシグネチャを、ストリーミングデータの主な表現手段として採用する。
• シグネチャはテンソルのシャッフル積を用いて構築され、時間区間におけるパスの完全な非線形相互作用構造を捉える。
• 有限の段階でシグネチャを切断することで、次元が低く、かつ普遍的なパスの要約が得られ、予測力が保持される。
• シグネチャの一意性と小さな摂動に対しての安定性を保証するため、粗いパス理論における拡張定理を活用する。
• 入力ストリームに基づく応答変数の条件付き分布をモデル化するために、切断されたシグネチャ特徴量に線形回帰を適用する。
• 自己回帰型（AR）およびARCH型時系列データを用いた数値実験を通じて、ガウス過程回帰と比較して性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 粗いパス理論から導かれる非線形的かつ普遍的な特徴量が、高周波で変動するデータストリームの効果予測において、線形特徴量を上回る性能を示せるか？
• RQ2 シグネチャに基づく特徴表現は、予測精度を保持しつつ、ストリーミングデータの次元をどの程度削減できるか？
• RQ3 大規模なストリーミング環境下において、シグネチャベースの回帰手法の計算効率は、ガウス過程回帰と比べてどの程度優れているか？
• RQ4 シグネチャベースの手法は、ARおよびARCHプロセスのような非マルコフ的かつパス依存的ダイナミクスを効果的にモデル化できるか？
• RQ5 古典的サンプリング手法が失敗する状況下でも、シグネチャは制御系へのデータストリームの影響を予測するのに十分な統計量とみなせるか？

主な発見

• シグネチャベースの手法は、ガウス過程のフレームワークに適合する設定において、ガウス過程と同等の予測精度を達成している。
• 同程度の精度を維持しているものの、特にサンプルサイズが増加するに従い、シグネチャベースの手法は著しく低い計算コストを示しており、スケーラビリティに優れている。
• シグネチャの内在的な非線形性のおかげで、線形特徴量と比較して予測効率が桁違いに向上している。
• 数値例では、シグネチャベースの手法がPoly-ARおよびMixture-of-Poly-ARモデルにおける非線形依存関係を的確に捉えており、高次パス相互作用に対応する非ゼロ係数が同定された。
• シグネチャの普遍性により、任意の有界$ p $-変動を示す連続パスを表現可能であり、パス依存的予測のための強力で汎用性の高い特徴量とみなせる。
• 本手法は粗いパス理論に基づく理論的裏付けが強く、シグネチャは制御系へのパスの全効果を捕捉する一意的かつ有限次元の要約として機能する。