[論文レビュー] Efficient Inference in Multi-task Cox Process Models

Virginia Aglietti, Theodoros Damoulas+1 more|arXiv (Cornell University)|May 24, 2018

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、共通のガウス過程（GP）潜在関数の線形結合として定式化された対数強度を、確率的でGPに従う混合重みで扱うことで、相関のあるポイント過程をモデル化するマルチタスク・コックス過程モデル（MCPM）を提案する。強度の閉形式モーメント表現を導出することで、変分推論を高速化し、最先端手法よりも15倍速い。実データおよび合成データにおけるマルチタスクポイント過程データにおいて、不確実性の定量化と予測性能が向上する。

ABSTRACT

We generalize the log Gaussian Cox process (LGCP) framework to model multiple correlated point data jointly. The observations are treated as realizations of multiple LGCPs, whose log intensities are given by linear combinations of latent functions drawn from Gaussian process priors. The combination coefficients are also drawn from Gaussian processes and can incorporate additional dependencies. We derive closed-form expressions for the moments of the intensity functions and develop an efficient variational inference algorithm that is orders of magnitude faster than competing deterministic and stochastic approximations of multivariate LGCP, coregionalization models, and multi-task permanental processes. Our approach outperforms these benchmarks in multiple problems, offering the current state of the art in modeling multivariate point processes.

研究の動機と目的

• 固定された線形結合重みを仮定する従来の多次元対数ガウス過程（lgcp）モデルの限界を解決し、不確実性の定量化を改善すること。
• 二重に確率的である性質と高次元の潜在空間を持つマルチタスク lgcp モデルにおける推論の計算的非可解性を克服すること。
• 潜在関数と確率的混合重みの両方の事後分布推定を効率的に行うスケーラブルな推論フレームワークを開発すること。
• マルチタスクポイント過程における lgcp ベースとパーマネンタル過程ベースのモデルの間で、初めて包括的な実験的比較を提供すること。
• 大規模で現実世界のマルチタスクポイント過程データセットにおいて、予測精度と計算効率の両面で最先端の性能を達成すること。

提案手法

• 複数の相関のあるポイント過程を、それぞれ別個の lgcp プロセスの実現とみなす。各タスクの対数強度は、共有された GP 潜在関数の線形結合として定式化する。
• 組み合わせ係数を独立なガウス過程としてモデル化することで、線形結合における不確実性の伝播を可能にする確率的混合重みを導入する。
• 対数強度のモーメント生成関数（MGF）の解析的表現を導出し、変分目的関数における期待値の閉形式計算を可能にする。
• これらの閉形式 MGF を活用して、モンテカルロサンプルを回避する変分推論アルゴリズムを開発し、収束を著しく高速化する。
• インダクティングポイントを用いて完全な GP 事後分布を近似し、大規模データセットにおけるスケーラブルな推論を実現する。
• 解析的期待値を用いて変分下界（証拠下界）を最適化し、確率的勾配推定の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク lgcp モデルにおける確率的混合重みは、固定または決定的重みと比較して、不確実性の定量化を改善できるか？
• RQ2 強度分布の閉形式モーメント表現は、マルチタスク lgcp モデルにおける変分推論をより高速かつ安定させるか？
• RQ3 提案手法 MCPM は、コアジオナル化モデル、マルチタスクパーマネンタル過程、MCMCベースの lgcp モデルといった既存手法と比較して、予測性能と計算効率の両面で優れているか？
• RQ4 複雑な相互相関構造を持つ空間的に分離されたタスク間で、情報の転送を効果的に行えるか、特に欠損データ設定下でも同様か？
• RQ5 タスク間相関が負または弱い場合でも、モデルは頑健性を保ち、負の転送を回避できるか？

主な発見

• MCPM モデルは、合成データおよび現実世界のデータセットにおいて、インセンティブコアジオナル化モデル（ICM）や MCMC を用いたマルチタスク lgcp（mlgcp）を含むベンチマークモデルを上回る最先端の予測性能を達成した。
• btb データセットでは、mlgcp に MCMC を用いた場合の推論時間を約30時間から約8時間に短縮し、MCMC ベース手法と比較して3.75倍の高速化を達成した。
• 欠損データ実験では、インサンプルおよびアウトオブサンプル両方で最高の期待被覆率（EC）を達成し、4つのタスクのうち3つで ICM を上回った。
• MCPM は 3.18 時間（1500 エポック）で収束したが、ICM は 18.63 時間（1000 エポック）を要し、トレーニング時間で6倍の高速化を達成した。
• MCPM の予測分布は真のカウントを 90% 信用区間内に含んでいたのに対し、ICM はそのような区間を形成できず、不確実性のキャリブレーションが向上したことを確認した。
• 閉形式 MGF の使用により、変分目的関数におけるモンテカルロサンプルの必要性が排除され、ブラックボックス変分推論手法と比較して、より高速かつ安定した最適化が実現された。