[論文レビュー] Nonparametric Bayesian Mixed-effect Model: a Sparse Gaussian Process Approach

Yuyang Wang, Roni Khardon|Nov 28, 2012

Gaussian Processes and Bayesian Inference参考文献 21被引用数 9

ひとこと要約

本論文は、計算コストを削減しながら性能を維持するように、誘導変数を用いて計算コストを削減する非パrametric Bayesian mixed-effect Gaussian processモデルのための、初めてのスパース変分推論手法を提案する。Titsias (2009) の変分スパースGPアプローチをグループ化された混合効果モデルに拡張することで、合成データおよび実世界のマルチタスク学習データセットにおいて、ベースラインおよび既存のスパースGP手法を上回る精度と効率性を達成した。

ABSTRACT

Multi-task learning models using Gaussian processes (GP) have been developed and successfully applied in various applications. The main difficulty with this approach is the computational cost of inference using the union of examples from all tasks. Therefore sparse solutions, that avoid using the entire data directly and instead use a set of informative "representatives" are desirable. The paper investigates this problem for the grouped mixed-effect GP model where each individual response is given by a fixed-effect, taken from one of a set of unknown groups, plus a random individual effect function that captures variations among individuals. Such models have been widely used in previous work but no sparse solutions have been developed. The paper presents the first sparse solution for such problems, showing how the sparse approximation can be obtained by maximizing a variational lower bound on the marginal likelihood, generalizing ideas from single-task Gaussian processes to handle the mixed-effect model as well as grouping. Experiments using artificial and real data validate the approach showing that it can recover the performance of inference with the full sample, that it outperforms baseline methods, and that it outperforms state of the art sparse solutions for other multi-task GP formulations.

研究の動機と目的

• 大規模データセットを対象とした非パrametric Bayesian mixed-effect Gaussian processモデルにおける完全推論の高い計算コストを解消すること。
• グループ化された混合効果GPモデルのための、初めてのスパース近似手法を開発すること。
• 変分スパースGP技術を、共有固定効果と個別ランダム効果を有するマルチタスク学習に一般化すること。
• 合成データおよび実世界のデータセットにおいて、完全推論と既存のスパースGPベースラインと比較して、本手法の性能を評価すること。
• スパースモデルが、計算複雑性を顕著に低減させながらも、完全データ推論の性能を再現できることを示すこと。

提案手法

• 完全GP事後分布の近似のために、誘導変数（擬似入力）の集合を導入することで、混合効果GPモデルに変分推論を適応する。
• 周辺尤度の変分下界を用い、ハイパーパramータと誘導変数の位置を同時に最適化する。
• 各グループの固定効果を共有されたGPとして、個別の偏差を独立したGPとしてモデル化することで、グループ化データを扱うためのスパースGPフレームワークを拡張する。
• 結合尤度に対する変分近似を適用し、誘導変数のみを用いて効率的な学習と予測を可能にする。
• 2段階の最適化を採用：まず変分パラメータと誘導入力を最適化し、次に下界の勾配上昇法によりハイパーパラメータを精緻化する。
• 時系列データに対して、普遍的なフェーズ合わせと正規化の前処理ステップを採用し、モデル適用前に信号を整列させる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックBayesian mixed-effect Gaussian processモデルに、スパース変分推論フレームワークを効果的に拡張できるか？
• RQ2 提案手法のスパースアプローチは、マルチタスク学習設定において完全データ推論と同等の予測性能を達成できるか？
• RQ3 精度と計算効率の観点から、既存のスパースGP定式化およびベースライン手法と比較して、本手法はどのように差をつけるか？
• RQ4 共有入力点がなく、各タスクのサンプル数が少ないデータセットに対しても、モデルは効果的に処理できるか？
• RQ5 入力空間で整列していないが関連するタスクに対して、グループベースの構造が一般化性能を向上させるか？

主な発見

• 提案手法は、合成データおよび実世界のデータセットにおいて、完全データ推論と同等の予測性能を達成しており、誘導変数に情報が効果的に圧縮されていることが示された。
• シミュレートされたグルコースデータにおいて、本手法はベースラインのスパースGP手法およびMGPを著しく上回り、特にK=3のマルチセンター設定で顕著な優位性を示した。
• OGLEII天文学データセットのEB（食連星）クラスにおいて、本手法はすべてのベースラインを上回った。特にSMSEおよびMSLLの観点で顕著な改善が得られた。
• 光曲線が単純なセフェイドおよびRRL星のケースでは、本手法とMGPの性能が類似しており、両者とも他の手法を上回った。
• 入力がタスク間で共有されていなくても、本手法は高い精度を維持しており、スパースかつ非一様なサンプリングパターンに対しても頑健であることが示された。
• 変分フレームワークにより、学習と予測が効率的に行えるようになった。計算複雑性はO(N^3)からO(mN^2)に低減され、ここでm ≪ Nは誘導変数の数である。