[論文レビュー] Generalized Product of Experts for Automatic and Principled Fusion of Gaussian Process Predictions

Yanshuai Cao, David J. Fleet|arXiv (Cornell University)|Oct 28, 2014

Gaussian Processes and Bayesian Inference参考文献 5被引用数 119

ひとこと要約

本稿では、共同学習を必要とせず、スケーラビリティ、表現力、ロバスト性、および原則的かつ確率的な統合を達成する、一般化されたエキスパートの積（gPoE）フレームワークを提案する。予測エントロピーから導出される入力に依存する信頼性重みを用いることで、個々のガウス過程（GP）エキスパートの並列学習が可能となり、信頼性の低い予測が自動的に低減される有効な閉形式のガウス後期分布が得られる。

ABSTRACT

In this work, we propose a generalized product of experts (gPoE) framework for combining the predictions of multiple probabilistic models. We identify four desirable properties that are important for scalability, expressiveness and robustness, when learning and inferring with a combination of multiple models. Through analysis and experiments, we show that gPoE of Gaussian processes (GP) have these qualities, while no other existing combination schemes satisfy all of them at the same time. The resulting GP-gPoE is highly scalable as individual GP experts can be independently learned in parallel; very expressive as the way experts are combined depends on the input rather than fixed; the combined prediction is still a valid probabilistic model with natural interpretation; and finally robust to unreliable predictions from individual experts.

研究の動機と目的

• スケーラビリティ、入力に依存する重み付け、有効な確率的出力、および劣悪なエキスパートに対するロバスト性を同時に満たす統合フレームワークの不足を解消すること。
• MoE、PoE、バギング、スタッキングといった従来手法が、同時に4つの望ましい特性を満たせないという限界を克服すること。
• 不確実性を保持しつつ、独立したエキスパートの並列学習を可能にする、原則的かつスケーラブルなGP統合メカニズムを開発すること。
• 各エキスパートに256点のトレーニングデータのみを用いても、gPoEが最先端のスパースGP近似手法と同等またはそれを上回ることを実証すること。

提案手法

• 各エキスパートの寄与が、予測エントロピーから導出される学習済みの入力に依存する信頼性スコア αᵢ(x) で重み付けされる一般化されたエキスパートの積（gPoE）モデルを提案する。
• 結合後期分布を P(y|x) ∝ ∏ᵢ pᵢ(y|x)^αᵢ(x) として定式化し、結果として有効なガウス分布が得られ、平均と分散が閉形式で得られることを保証する。
• 事前分布と事後分布のエントロピーの変化を、エキスパートの信頼性の代理指標として用い、過信やモデルの誤指定によるエキスパートの重みを自然に低減する。
• 融合された平均と分散の解析的表現を導出する：m(x) = (∑ᵢ mᵢ(x)Tᵢ(x)) (∑ᵢ Tᵢ(x))⁻¹ および Σ(x) = (∑ᵢ Tᵢ(x))⁻¹ ここで Tᵢ(x) は i 番目のGPエキスパートの精度を表す。
• 統合ステップが事後に実行されるため、共同最適化を必要とせず、個々のGPエキスパートの完全な並列学習を可能にする。
• 推論効率を向上させるために、木構造を用いた変種（tree-gPoE）を導入し、性能を維持しつつも性能を保つ。

実験結果

リサーチクエスチョン

• RQ1 独立して学習されたGPエキスパートを用いながらも、入力に適応する重み付け、ロバスト性、有効な確率的出力が得られる統合フレームワークを設計できるか？
• RQ2 予測エントロピーの変化を信頼性指標として用いることで、予測分散のみに依存する場合と比較して、モデルの誤指定に対するロバスト性が向上するか？
• RQ3 各エキスパートに少数のトレーニングポイントしか使用しない場合でも、gPoEはSVI-GP や FITC といった高度なスパースGP近似手法と同等の性能を達成できるか？
• RQ4 モデルの誤指定下において、gPoEは標準的なPoE、MoE、バギング、スタッキングと比較して、どの程度ロバスト性と表現力に優れているか？

主な発見

• gPoEは4つの望ましい特性をすべて満たしている：並列学習によるスケーラビリティ、入力依存の統合、有効な確率的出力、信頼性の低いエキスパートに対するロバスト性。
• UK-APTデータセットでは、各エキスパートに256点のトレーニングデータを用いたgPoEが、RMSE 0.556を達成し、SVI-GP（0.426）を上回った。また、より複雑なスパースGP近似手法と同等またはそれ以上の性能を示した。
• tree-gPoEは推論コストを削減しながらも、強力な性能を維持した。UK-APTではRMSE 0.456を達成した。
• SARCOSおよびKIN40Kにおいて、gPoEはPoE や MoE よりも顕著に優れた性能を示し、SMSEはSARCOSでPoEの0.438からgPoEの0.0603に低下した。
• 各エキスパートに256点しか使用しなかったにもかかわらず、gPoEの性能は高度なスパースGP手法と同等であり、高い表現力と一般化性能を示した。
• 実験結果から、予測分散が不正確であっても、エントロピーの変化はエキスパートの信頼性の良好な指標であることが示された。これは、モデルの誤指定に対するロバスト性を示唆している。