[論文レビュー] Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression

Jun Wei Ng, Marc Peter Deisenroth|arXiv (Cornell University)|Dec 9, 2014

Gaussian Processes and Bayesian Inference参考文献 23被引用数 25

ひとこと要約

本稿では、独立した計算ユニットに計算を分散させることで、大規模データセットへのフルGP回帰をスケーリングする階層的混合専門家ガウス過程モデルを提案する。木構造アーキテクチャ内で、局所的なGP専門家からの閉形式で再結合された予測を用いることで、各リーフではO(N³)のトレーニング複雑度を維持しながらも、大規模な並列処理を可能にし、低メモリ使用量と高速収束を実現する。これは、ラップトップ上で1.7×10⁷点のデータセットと100万点のデータセットを30分未満で処理した実証例により示された。

ABSTRACT

We propose a practical and scalable Gaussian process model for large-scale nonlinear probabilistic regression. Our mixture-of-experts model is conceptually simple and hierarchically recombines computations for an overall approximation of a full Gaussian process. Closed-form and distributed computations allow for efficient and massive parallelisation while keeping the memory consumption small. Given sufficient computing resources, our model can handle arbitrarily large data sets, without explicit sparse approximations. We provide strong experimental evidence that our model can be applied to large data sets of sizes far beyond millions. Hence, our model has the potential to lay the foundation for general large-scale Gaussian process research.

研究の動機と目的

• 大規模データセット（N > 10,000）における標準的ガウス過程回帰の計算およびメモリ制限を解消すること。
• 明示的な誘導点や低ランク近似を避ける、スパースGP近似の代替として実用的でスケーラブルな手法を開発すること。
• 独立した計算ユニットにおける大規模並列処理を活用することで、任意に大きなデータセットにおけるフルGP推論を可能にすること。
• フルGPの予測精度と確率的整合性を維持しつつ、各ノードの計算負荷を大幅に削減すること。
• 最小限のハイパーパramータチューニングとサンプリングベースの推論を必要としないフレームワークを提供すること。

提案手法

• トレーニングデータをc個の局所的GP専門家（リーフノード）に分配し、それぞれがデータのサブセット上でフルGP計算を実行する。
• 木構造を用いて、局所的予測を再帰的に閉形式の解析的演算によりグローバルな平均および分散推定値に再結合する。
• すべての局所的専門家に共通のハイパーパramータ（σf, li, σϵ）を採用することで、フルGPと整合性を保ち、過学習を低減する。
• 各レベルでのゲーティング機構から導出される重みを用いて、局所的平均および分散の重み付き和として予測を再結合する。
• マップ・リダーススタイルのアーキテクチャを用いて分散トレーニングを実現し、各ノードで局所的に計算を行い、サンプリングを一切行わずに解析的に結果を統合する。
• 各リーフでカーネル行列（K + σ²ϵI）⁻¹の逆行列をキャッシュすることで予測を高速化し、予測ごとのコストを平均でO(N)、分散でO(N²)に削減する。

実験結果

リサーチクエスチョン

• RQ1 スパース近似を用いずに、10⁷点以上のデータセットに対してフルガウス過程回帰をスケーリングできるか。
• RQ2 提案手法の予測性能は、最先端のスパースGP手法と比較して、精度および収束速度の面で優れているか。
• RQ3 大規模並列処理により、計算およびメモリ効率を高めつつ、フルGPの統計的性質を保持できるか。
• RQ4 局所的専門家間でハイパーパramータを共有することで、個々の専門家に固有のパラメータを用いるモデルと比較して、過学習を防ぎ、最適化の安定性が向上するか。
• RQ5 標準的なハードウェア（例：ラップトップ）上で、100万点以上のデータセットを効率的にトレーニングできるか。

主な発見

• 本モデルは、1.7×10⁷点のデータセット（kin40K）に対してフルGPをトレーニングし、真値のGPと比較して尤度比が0.815に達した。これは、通常のスパースGPの限界を超えるスケーラビリティを示している。
• 100万点のデータセットのトレーニングはラップトップ上で30分未満で完了し、数10回のBFGS反復で収束した。これは、スパースGP手法が数百～数千回の反復を要するのと比べて顕著に高速である。
• 航空便遅延データセット（70万点のトレーニングデータ）において、HGPはスパース変分GP（SVGP）および分散型スパース変分GP（Dist SVGP）の両方を下回るRMSEを達成し、優れた予測性能を示した。
• リーフ数が4つ（1リーフあたり5,000点）の状況でも、kin40Kデータセットで尤度比0.992を達成し、最小の階層構造でも優れた近似忠実度を示した。
• 階層的再結合プロセスにより、1テストポイントあたりの平均予測がO(N)、分散予測がO(N²)に抑えられ、全行列の保存を避けることでメモリ使用量を低く抑えた。
• 複数のデータセットおよび階層の深さにわたり、モデルの性能は安定的かつ正確に保たれ、リーフ数の増加に伴い尤度比が徐々に低下する傾向を示し、一貫した近似品質を示した。