[論文レビュー] The Automatic Statistician: A Relational Perspective

Yunseong Hwang, Tong, Anh+1 more|arXiv (Cornell University)|Nov 26, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用数 4

ひとこと要約

本稿では、ガウス過程を用いて複数の時系列データセット間で共有されるおよび特徴的な共分散構造を発見する、関係的マルチカーネル学習手法としてRelational Kernel Learning (RKL) とShared Relational Kernel Learning (SRKL) を提案する。RKL と SRKL は、データセット間の相互情報を利用することで、単一データセットの組み合わせカーネル学習 (CKL) よりもモデルの適合度 (BIC) や外挿精度 (RMSE) において優れている。特に、9/11の市場崩壊や中央銀行の金利発表といった顕著な出来事も的確に捉えている。

ABSTRACT

Gaussian Processes (GPs) provide a general and analytically tractable way of modeling complex time-varying, nonparametric functions. The Automatic Bayesian Covariance Discovery (ABCD) system constructs natural-language description of time-series data by treating unknown time-series data nonparametrically using GP with a composite covariance kernel function. Unfortunately, learning a composite covariance kernel with a single time-series data set often results in less informative kernel that may not give qualitative, distinctive descriptions of data. We address this challenge by proposing two relational kernel learning methods which can model multiple time-series data sets by finding common, shared causes of changes. We show that the relational kernel learning methods find more accurate models for regression problems on several real-world data sets; US stock data, US house price index data and currency exchange rate data.

研究の動機と目的

• 時系列データに対して、単一データセットのカーネル学習では情報量が少なく、特徴のないモデルが得られることの限界を解消すること。
• 関係的学習を用いて、複数の時系列データセット間で共有される、解釈可能な共分散構造を自動で発見すること。
• 複数のデータセットにわたる共通カーネルと個別成分を同時に学習することで、モデルの精度と解釈可能性を向上させること。
• 実世界の金融データ（米国株価、住宅指数、為替レートなど）を用いて、提案手法の有効性を検証すること。

提案手法

• 関係的自動ベイジアン共分散発見 (RABCD) を提案する。これは、関係的カーネル学習のための非パラメトリックベイジアンフレームワークである。
• 2つの手法を導入する：RKL は、複数の時系列データセット間で共有される合成カーネルと個別のスケール要因を学習する。
• SRKL は、RKL を拡張し、各データセットごとに特徴的なスペクトル混合カーネルを追加することで、独自のダイナミクスを捉える。
• 加法および乗法に対して閉じた合成共分散カーネルを用いたガウス過程を採用し、柔軟で解釈可能なモデリングを可能にする。
• カーネル演算の文法と自動合成を用いて、データから人間が読みやすい解釈可能なカーネル構造を発見する。
• モデル性能の比較に、負の対数尤度、BIC、RMSE を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 関係的カーネル学習により、複数の時系列データセット間で共有される共分散構造を発見することで、モデルの適合度と解釈可能性が向上するか？
• RQ2 共有カーネル学習は、市場崩壊や政策変更といった顕著な出来事を捉える点で、単一データセットのカーネル学習と比べてどのように優れているか？
• RQ3 共有カーネルと特徴的カーネルの両方を含めることで、単に共有カーネルのみまたは個別成分のみを含むモデルよりも外挿性能が向上するか？
• RQ4 関係的学習は、モデルの複雑さとハイパーパrameter数をどれほど削減し、一般化性能を向上させることができるか？

主な発見

• RKL は、6つの実世界データセットのうち5つで CKL よりも低いベイジアン情報基準 (BIC) を達成し、パrameter数が少ないにもかかわらずより良いモデル適合度を示した。
• 米国株価データでは、RKL が RMSE を CKL の 0.78 から 0.38 にまで低下させ、外挿性能の顕著な向上を示した。
• SRKL は、6つのデータセットのうち5つで CKL や RKL よりも RMSE が低く、CURRENCY4 では CKL の 330.00 に対し 201.56 と優れた性能を示した。
• RKL は、9/11の市場急落を、定数カーネルを用いた定義された時間窓内で明確に分離し、CKL が滑らかな変動の一部とみなしていたのとは対照的であった。
• SRKL は、2015年9月中旬から10月中旬にかけて為替レートに顕著な変化点を特定し、FRBの金利発表と関連づけた。ABC D は、1つの通貨を除き、この変化点を捉えられなかった。
• SRKL の共有カーネルは、一般的な市場ダイナミクスを捉えており、特徴的なスペクトル混合カーネルは、個々の時系列に固有の行動をモデル化していた。