[論文レビュー] Bayesian Hierarchical Mixtures of Experts

Chris Bishop, Markus Svenskn|arXiv (Cornell University)|Oct 19, 2012

Gaussian Processes and Bayesian Inference参考文献 8被引用数 123

ひとこと要約

本論文は、最尤推定で訓練される従来のHMEにおける過学習およびモデルの複雑さの問題に対処するために、変分推論を用いた完全ベイジアン階層型混合モデル（HME）を提示する。局所的およびグローバルな変分近似を組み合わせることで、周辺尤度の厳密な下界が導出され、根拠に基づいたモデル選択とロボットアーム運動学データにおけるより優れた汎化性能を実現する。

ABSTRACT

The Hierarchical Mixture of Experts (HME) is a well-known tree-based model for regression and classification, based on soft probabilistic splits. In its original formulation it was trained by maximum likelihood, and is therefore prone to over-fitting. Furthermore the maximum likelihood framework offers no natural metric for optimizing the complexity and structure of the tree. Previous attempts to provide a Bayesian treatment of the HME model have relied either on ad-hoc local Gaussian approximations or have dealt with related models representing the joint distribution of both input and output variables. In this paper we describe a fully Bayesian treatment of the HME model based on variational inference. By combining local and global variational methods we obtain a rigourous lower bound on the marginal probability of the data under the model. This bound is optimized during the training phase, and its resulting value can be used for model order selection. We present results using this approach for a data set describing robot arm kinematics.

研究の動機と目的

• 最尤推定で訓練される古典的Hierarchical Mixture of Experts（HME）モデルにおける過学習を緩和すること。
• モデルの複雑さと構造の選択を可能にする、根拠に基づいたベイジアンHMEの取り扱いを提供すること。
• 局所的およびグローバルな近似を組み合わせた変分推論フレームワークを構築し、正確な後方分布推定を実現すること。
• 周辺尤度の下界を用いて、自動的なモデル順序選択を可能にすること。
• 実世界の回帰タスク（ロボットアーム運動学）における本手法の有効性を実証すること。

提案手法

• すべてのモデルパラメータ（エキスパート重みおよびゲーティングネットワークパラメータを含む）に事前分布を設定することで、完全ベイジアンHMEモデルを定式化する。
• 各データポイントの潜在変数およびエキスパートパラメータの後方分布を近似するために、局所的変分推論を適用する。
• ハイパーパrameterおよび木構造の同時後方分布を近似するために、グローバルな変分推論を用いる。
• 局所的およびグローバルな変分近似の組み合わせを用いて、周辺尤度の下界を導出する。
• トレーニング中に変分下界を最適化することで、同時にモデルパラメータの学習と最適な木構造の選択を実現する。
• 最終的な下界の値を、モデル順序選択の基準として利用し、より単純で汎化性の高いモデルを優先する。

実験結果

リサーチクエスチョン

• RQ1 最尤推定による訓練と比較して、HMEモデルに完全ベイジアンの取り扱いを適用することで、汎化性能の向上と過学習の低減が達成できるか？
• RQ2 変分推論は、HMEの階層構造を適切に扱うために、どのように局所的およびグローバルな近似を効果的に組み合わせられるか？
• RQ3 変分下界は、最適なモデルの複雑さおよび木構造の選択に信頼できる指標として機能できるか？
• RQ4 本手法は、恣意的な近似や入力・出力の同時モデリングに依存する既存のベイジアンHME手法を上回る性能を示せるか？
• RQ5 本手法は、ロボットアーム運動学予測のような実世界の回帰タスクにおいて、どの程度の性能を発揮するか？

主な発見

• 適切な事前分布を用いることで、不確実性を組み込むことにより、本手法のベイジアンHMEモデルは、最尤推定によるHMEと比較してより優れた汎化性能を達成する。
• 周辺尤度の変分下界は、モデル選択のための信頼性があり最適化された指標を提供し、自動的な複雑さ制御を可能にする。
• 局所的およびグローバルな変分近似の組み合わせにより、従来の恣意的な手法と比較して、より正確で安定した後方分布近似が得られる。
• 本手法は、ロボットアーム運動学データセットにおいて、モデルの適合度と複雑さのバランスを取った簡潔な木構造を効果的に同定する。
• 最終的な変分下界値は、AIC や BIC といった従来の基準の代替として、根拠に基づいたモデル比較のための有効な指標となる。
• ロボットアームデータセットにおける実験的結果から、ベイジアンHMEモデルがベースラインHMEと比較して低い予測誤差を達成することが示された。