[論文レビュー] Spectral Mixture Kernels with Time and Phase Delay Dependencies.

Kai Chen, P. Groot+2 more|arXiv (Cornell University)|Aug 1, 2018

Gaussian Processes and Bayesian Inference参考文献 15被引用数 5

ひとこと要約

本稿では、時間的および位相遅延関係を明示的にモデル化するSpectral Mixture (SM)カーネルの拡張である、時間および位相遅延依存性を持つスペクトルミックスチャーナル (SMD) を提案する。SMDは、基本成分に時間および位相遅延を組み込み、逆複素共役のクロス畳み込みを用いることで、成分間の相関関係を捉える一方で、ハイパーパrameterの数（遅延パラメータを除く）を維持する。これにより、人為的影響が最小限の自然現象のモデリングが向上する。

ABSTRACT

Spectral Mixture (SM) kernels form a powerful class of kernels for Gaussian processes, capable to discover patterns, extrapolate, and model negative covariances. Being a linear superposition of quasi-periodical Gaussian components, an SM kernel does not explicitly model dependencies between components. In this paper we investigate the benefits of modeling explicitly time and phase delay dependencies between components in an AM kernel. We analyze the presence of statistical dependencies between components using Gaussian conditionals and posterior covariance and use this framework to motivate the proposed SM kernel extension, called Spectral Mixture kernel with time and phase delay Dependencies (SMD). SMD is constructed in two steps: first, time delay and phase delay are incorporated into each base component; next, cross-convolution between a base component and the reversed complex conjugate of another base component is performed which yields a complex-valued and positive definite kernel representing correlations between base components. The number of hyper-parameters of SMD, except the time and phase delay ones, remains equal to that of the SM kernel. We perform a thorough comparative experimental analysis of SMD on synthetic and real-life data sets. Results indicate the beneficial effect of modeling time and phase delay dependencies between base components, notably for natural phenomena involving little or no influence from human activity.

研究の動機と目的

• 標準的なスペクトルミックスカーネルが準周期的成分間の依存関係をモデル化できないという限界に対処すること。
• カーネル設計の基盤として、ガウス的条件付き分布と事後分散共分散を用いて、成分間の統計的依存関係を調査すること。
• 計算効率を維持しつつ、成分間の時間的および位相遅延関係を明示的に符号化する新しいカーネルアーキテクチャの開発。
• 時間的および位相遅延依存関係が、合成および実世界のデータセットにおけるモデリング性能に与える影響を評価すること。
• 人為的影響が少ない自然システムにおいて、特に外挿性能とモデリング精度が向上することを示すこと。

提案手法

• スペクトルミックスカーネルの各基本ガウス成分に、時間遅延および位相遅延を直接組み込む。
• 別の成分の逆複素共役とのクロス畳み込みを実行することで、複素数値カーネルを構築する。
• 設計上、正定値性を保証することで、ガウス過程推論における有効性を維持する。
• 時間および位相遅延パラメータを除き、元のSMカーネルと同一のハイパーパrameter数を維持する。
• 時間的およびスペクトル的依存関係を明示的にモデル化するために、SMDカーネルをガウス過程回帰に適用する。
• SMDカーネルの構造的設計を正当化するために、ガウス的条件付き分布および事後分散共分散の枠組みを活用する。

実験結果

リサーチクエスチョン

• RQ1 スペクトル成分間の時間的および位相遅延依存関係を明示的にモデル化することで、スペクトルミックスカーネルの表現能力が向上するか？
• RQ2 時間的および位相遅延依存関係は、カーネルの外挿能力および負の共分散をモデル化する能力にどのように影響するか？
• RQ3 人為的影響が最小限の自然現象におけるモデリング性能に、これらの依存関係が及ぼす影響は何か？
• RQ4 SMDカーネルは、遅延関連パラメータを除き、SMと同等のハイパーパrameter数を維持しつつ、モデルの柔軟性を損なわないか？
• RQ5 合成および実世界の時系列データにおいて、SMDはSMおよび他のカーネル変種と比較して予測性能に優れているか？

主な発見

• SMDカーネルは、成分間の時間的および位相遅延依存関係を明示的に捉えることで、合成データセットにおいてモデリング精度が向上することを示した。
• 特に長期的な時間的パターンを含む状況において、標準的なSMカーネルと比較して、SMDはより優れた外挿性能を達成した。
• 人為的影響が少ない自然現象を含む実世界データセットでは、SMDがSMを顕著に上回り、このような分野に適していることが示された。
• 時間的および位相遅延依存関係の追加により、カーネルの負の共分散をモデル化する能力が向上し、現実的な時系列モデリングにとって重要な能力が強化された。
• SMDにおけるハイパーパrameter数は、遅延パラメータを除きSMと同等であり、モデルの複雑さが不必要に増加しないことが確認された。