[論文レビュー] Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes

Hyunjik Kim, Yee Whye Teh|arXiv (Cornell University)|Jun 8, 2017

Gaussian Processes and Bayesian Inference参考文献 31被引用数 18

ひとこと要約

本稿では、スケーラブルなカーネル構成（SKC）を提案する。これは、ガウス過程（GP）のマージナル尤度に対する安価でタイトな上界を導入することで、大規模データセットにおける解釈可能なGPモデル探索を可能にする、自動統計師のスケーラブルな拡張である。真のマージナル尤度をこの上界と変分下界の間で挟むことで、効率的で準グリーディなカーネル探索が可能となり、10万点規模のデータにおいても多スケールの周期性やトレンドといった複雑な構造を的確に同定できる。計算量はO(N³)からO(N²)に低減される。

ABSTRACT

Automating statistical modelling is a challenging problem in artificial intelligence. The Automatic Statistician takes a first step in this direction, by employing a kernel search algorithm with Gaussian Processes (GP) to provide interpretable statistical models for regression problems. However this does not scale due to its $O(N^3)$ running time for the model selection. We propose Scalable Kernel Composition (SKC), a scalable kernel search algorithm that extends the Automatic Statistician to bigger data sets. In doing so, we derive a cheap upper bound on the GP marginal likelihood that sandwiches the marginal likelihood with the variational lower bound . We show that the upper bound is significantly tighter than the lower bound and thus useful for model selection.

研究の動機と目的

• ガウス過程の推論計算量がO(N³)であるため、小規模データに限定される自動統計師のスケーラビリティ制限を克服すること。
• Compositional Kernel Search（CKS）を拡張することで、中〜大規模データセットにおける自動的かつ解釈可能な統計モデリングを可能にすること。
• 解釈可能性を維持しつつ、多周期的トレンドや局所的変動といった複雑な構造を発見できる、スケーラブルなモデル選択フレームワークを開発すること。
• 変分下界のみに比べて信頼性が高く、タイトなGPマージナル尤度上界を提供することにより、モデル選択の精度を向上させること。

提案手法

• GPマージナル尤度に対する計算が安価でタイトな上界を新たに導入し、真のマージナル尤度をこの上界と変分下界の間に厳密に挟む。
• 上界を用いた準グリーディなカーネル探索戦略を採用することで、局所最適解への収束を抑制し、探索の安定性を向上させる。
• 正確なマージナル尤度の代わりに上界をモデル選択の代理指標として用いることで、完全なGP推論を伴わずにスケーラブルなカーネル構成を実現する。
• 誘導点を用いた変分推論を活用し、GPマージナル尤度を近似することで、計算コストをO(N³)からO(N²)に削減する。
• 下界の区間が重複するカーネルに対しては、上界をタイブレーやとして用いることで、モデル選択の安定性と正確性を向上させる。
• 基本カーネル（SE、LIN、PER）を用いて時系列データに対して解釈可能で構造に敏感なGPを構成する。

実験結果

リサーチクエスチョン

• RQ1 10万点規模のデータセットに対して、モデルの解釈性を保ちつつ自動統計師をスケーリングすることは可能か？
• RQ2 安価でタイトなGPマージナル尤度上界は、大規模設定におけるカーネル探索を効果的にガイドできるか？
• RQ3 モデル選択において、変分下界に比べて本稿で提案する上界はタイトさと信頼性の点で優れているか？
• RQ4 SKCは、二重周期的パターンや局所的トレンドといった複雑な多スケール構造を大規模時系列データで発見できるか？
• RQ5 上界を用いることで、下界のみまたはランダムサブサンプリングを用いる場合に比べ、深さ4を超えるカーネル探索が可能になるか？

主な発見

• SKCは、N = 31,957点の潮流データにおいて、SE × PER₁ × LIN × PER₂ × PER₃ 構造のカーネルを効果的に発見し、12時間周期と2週間周期の両方の周期性を捉えている。
• マージナル尤度の上界は、変分下界に比べて著しくタイトであり、より信頼性が高く安定したモデル選択を可能にしている。
• 下界のみを用いたカーネル探索では、下界の信号対雑音比が低いため、深さ3を超えて進めないが、SKCでは深い構造の探索に成功している。
• データをランダムにサブサンプリングしても、長周期トレンドのようなグローバル構造は、2,560点程度のサブセットでも保持されないが、m = 640の誘導点を用いたSKCでは正確に捉えている。
• LINカーネルはほとんど影響を及ぼさない（勾配 = -5×10⁻⁶）、PER₂も長さスケールが大きく、振幅が小さいため、ほとんど影響がないことから、モデルの解釈性が裏付けられている。
• CKSやサブサンプリングベースの手法が失敗する大規模データセットにおいても、SKCはスケーラブルかつ解釈可能な構造発見を実現しており、O(N²)の実行時間スケーリングを示している。