[論文レビュー] Generalized Robust Bayesian Committee Machine for Large-scale Gaussian Process Regression

Haitao Liu, Jianfei Cai+2 more|arXiv (Cornell University)|Jun 2, 2018

Gaussian Processes and Bayesian Inference被引用数 42

ひとこと要約

GRBCM は、グローバル通信エキスパートと拡張予測を導入することにより、大規模 GP 回帰のための一貫性があり効率的な集約手法を提供し、既存の PoE/BCM 法より一貫性とスケーラビリティを向上させます。

ABSTRACT

In order to scale standard Gaussian process (GP) regression to large-scale datasets, aggregation models employ factorized training process and then combine predictions from distributed experts. The state-of-the-art aggregation models, however, either provide inconsistent predictions or require time-consuming aggregation process. We first prove the inconsistency of typical aggregations using disjoint or random data partition, and then present a consistent yet efficient aggregation model for large-scale GP. The proposed model inherits the advantages of aggregations, e.g., closed-form inference and aggregation, parallelization and distributed computing. Furthermore, theoretical and empirical analyses reveal that the new aggregation model performs better due to the consistent predictions that converge to the true underlying function when the training size approaches infinity.

研究の動機と目的

• 大規模データセットに対するスケーラブルな GP 回帰の必要性を動機づける。
• 非重複またはランダムなパーティショニング下で、既存の集約法の一貫性の欠如を示す。
• グローバル・コミュニケーション・エキスパートを備えた Generalized Robust Bayesian Committee Machine（GRBCM）を提案する。
• データサイズが増加するにつれて GRBCM の一貫性を証明し、その計算量を分析する。
• おもちゃデータセットと実データセットで実証的な性能上の利点を示す。

提案手法

• 既存の集約モデル（PoE、GPoE、BCM、RBCM、NPAE）をレビューし、批評し、それらの一貫性の欠如を指摘する。
• エキスパートをグローバル・コミュニケーション・エキスパートと強化されたエキスパートに分割する GRBCM を導入する。
• 条件付き独立性とベータ重みを用いたBayes則で GRBCM の予測を定式化する。
• エキスパートの寄与を重みづけするために、エントロピー差に基づいて beta_i を定義する。
• n → ∞ のとき GRBCM の一貫性の理論的証明を提供する。
• 複雑さの分析を提供し、分散コンピューティング環境での実装について議論する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなパーティショニング下で、トレーニングサイズが無限大に増えるとき、一般的な集約モデルは一貫した予測を生み出すか。
• RQ2 大規模 GP 回帰において、一貫性と効率性の両方を満たす新しい集約モデルを設計できるか。
• RQ3 GRBCM は既存の集約と比較して予測精度と適切にキャリブレーションされた不確実性を改善するか。
• RQ4 予測における GRBCM の計算上のトレードオフは何か、データサイズとエキスパート数の増加に伴うスケーリングはどうなるか。
• RQ5 おもちゃデータセットと実データセットでの経験的結果は、理論的な一貫性と性能主張を支持するか。

主な発見

• GRBCM はデータが増えるにつれて一貫した予測を生み出し、真の基底関数とノイズ分散に収束する。
• GRBCM はおもちゃデータセットと実データセットのいずれにおいても、精度（SMSE）と不確実性の品質（MSLL）で既存の集約を上回る。
• GRBCM の予測不確実性は制御され、ランダムなパーティショニング下では一般に GPoE より低い。
• GRBCM は並列化可能な分散計算を維持し、予測時間が同等またはわずかに増加する程度で予測精度が高い。
• NPAE は依然として効果的だが大幅に時間がかかるため、GRBCM の方がスケーラブルな代替として望ましい。
• このアプローチは toy、kin40k、sarcos データセットのいずれにおいても性能向上を示す。