[論文レビュー] Generalized Spectral Mixture Kernels for Multi-Task Gaussian Processes

Kai Chen, P. Groot+2 more|arXiv (Cornell University)|Aug 3, 2018

Gaussian Processes and Bayesian Inference参考文献 40被引用数 4

ひとこと要約

本稿では、非線形なタスク相関およびスペクトル成分間の遅延（時間遅れや位相遅れを含む）をモデル化する一般化スペクトル混合カーネルを導入したマルチタスクガウス過程のための手法を提案する。一般化畳み込みスペクトル混合とコアレジオン化を組み合わせることで、モデルの表現力と解釈可能性が向上し、合成データおよび実世界のデータにおいて、既存のMTGP手法を上回る性能を発揮する。

ABSTRACT

Multi-Task Gaussian processes (MTGPs) have shown a significant progress both in expressiveness and interpretation of the relatedness between different tasks: from linear combinations of independent single-output Gaussian processes (GPs), through the direct modeling of the cross-covariances such as spectral mixture kernels with phase shift, to the design of multivariate covariance functions based on spectral mixture kernels which model delays among tasks in addition to phase differences, and which provide a parametric interpretation of the relatedness across tasks. In this paper we further extend expressiveness and interpretability of MTGPs models and introduce a new family of kernels capable to model nonlinear correlations between tasks as well as dependencies between spectral mixtures, including time and phase delay. Specifically, we use generalized convolution spectral mixture kernels for modeling dependencies at spectral mixture level, and coupling coregionalization for discovering task level correlations. The proposed kernels for MTGP are validated on artificial data and compared with existing MTGPs methods on three real-world experiments. Results indicate the benefits of our more expressive representation with respect to performance and interpretability.

研究の動機と目的

• タスク間の複雑な非線形相関をモデル化することで、マルチタスクガウス過程（MTGP）の表現力と解釈可能性を向上させること。
• 既存のMTGP手法がタスク間の線形的または位相シフト関係を仮定しているという制限を解消すること。
• タスク間の相関だけでなく、スペクトル混合成分間の依存関係（例：時間遅れ、位相シフト）をモデル化すること。
• 統一されたカーネルフレームワークを通じて、識別可能なパラメトリック表現としてタスク関連性を提供すること。
• 提案されたカーネルが合成データおよび実世界のマルチタスク回帰問題の両方で妥当性を検証すること。

提案手法

• 本手法は、一般化畳み込みスペクトル混合カーネルを用いて、タスク間のスペクトル成分間の依存関係をモデル化し、非線形関係を可能にする。
• コアレジオン化を統合することで、共有の基本関数を介してタスクレベルの相関を発見・表現する。
• カーネルの定式化により、スペクトル混合パrameterを介して時間遅れや位相シフトをタスク間でモデル化可能となる。
• スペクトル混合カーネルと構造化された共分散関数を組み合わせることで、タスク間およびスペクトル内依存関係を両方とも捉える。
• 標準的なGP推論と周辺尤度最適化を用いてモデルを学習し、カーネルハイパーパrameterのエンドツーエンド学習を可能にする。
• 識別可能なスペクトル成分と結合パrameterを通じて、タスク関連性のパラメトリックな解釈を可能にするフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 一般化スペクトル混合カーネルは、既存のMTGP手法よりも非線形なタスク相関をより効果的にモデル化できるか？
• RQ2 スペクトル成分間の依存関係を通じて、時間遅れや位相遅れをどれほど正確にモデル化できるか？
• RQ3 提案されたカーネルは、ベースラインMTGPと比較して、実世界のマルチタスク回帰タスクにおける予測性能をどの程度向上させるか？
• RQ4 識別可能なスペクトルパラメータを通じて、タスク関連性に関する解釈可能なインサイトを提供できるか？
• RQ5 一般化畳み込みとコアレジオン化の組み合わせは、MTGPにおける表現力と解釈可能性をどのように向上させるか？

主な発見

• 提案された一般化スペクトル混合カーネルは、3つの実世界のマルチタスク回帰データセットにおいて、既存のMTGP手法を上回る顕著な予測性能を発揮した。
• 線形的または位相シフトモデルが表現できない非線形なタスク相関を、本モデルは効果的に捉えた。
• スペクトル成分間の依存関係を通じた時間遅れ・位相遅れのモデル化が、タスク関連性のより正確な推定に寄与した。
• カーネルのパラメトリック構造により、支配的周波数成分や遅延を特定するなど、タスク関連性に関する解釈可能なインサイトが得られた。
• 合成データでは、真のスペクトル的および時間的関係が正確に回復された。
• 複雑なタスク間依存関係を有する多様なマルチタスク学習シナリオにおいて、本手法は頑健性と一般化性能を示した。