[論文レビュー] Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression

Zhongjie Yu, Mingye Zhu+3 more|arXiv (Cornell University)|Jun 16, 2021

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、確率的回路を用いて単出力ガウス過程エキスパートの混合構造を構築することで、スケーラブルかつ正確な非パラメトリックな多出力回帰のためのMOMoGPを提案する。入力空間と出力空間を再帰的に分割することにより、MOMoGPは出力間相関を効率的に捉え、O(KM³)の時間で正確な事後分布推論を実現し、EnergyやusFlightを含む大規模データセットにおいて、予測不確実性の推定において最先端の手法を上回る性能を示している。

ABSTRACT

Inspired by recent advances in the field of expert-based approximations of Gaussian processes (GPs), we present an expert-based approach to large-scale multi-output regression using single-output GP experts. Employing a deeply structured mixture of single-output GPs encoded via a probabilistic circuit allows us to capture correlations between multiple output dimensions accurately. By recursively partitioning the covariate space and the output space, posterior inference in our model reduces to inference on single-output GP experts, which only need to be conditioned on a small subset of the observations. We show that inference can be performed exactly and efficiently in our model, that it can capture correlations between output dimensions and, hence, often outperforms approaches that do not incorporate inter-output correlations, as demonstrated on several data sets in terms of the negative log predictive density.

研究の動機と目的

• 従来のエキスパートベースのガウス過程モデルが単出力回帰に特化しており、出力間相関を効果的にモデル化できないという限界を解決すること。
• 確率的回路内に単出力GPエキスパートの混合構造を構築することで、大規模な多出力回帰において効率的かつ正確な事後分布推論を可能にすること。
• 入力空間と出力空間の再帰的分解を活用して、出力次元数に立方コストが発生しない形で、出力次元間の複雑な依存関係をモデル化すること。
• 画像補間やベイズ最適化などの応用において重要な予測不確実性の定量化を向上させること。
• 出力次元の共同モデリングが、独立モデルや近似モデルと比較して、回帰性能（特にNLPDの観点から）をどのように改善するかを示すこと。

提案手法

• 各リーフノードが単出力GPエキスパートを表す確率的回路を用いて、深く構造化された単出力GPエキスパートの混合構造を構築する。
• 階層的構造を用いて入力空間と出力空間を再帰的に分割することで、計算を局所化し、効率的な推論を実現する。
• 確率的回路の tractability（取り扱いやすさ）を活用し、観測値の小さなサブセットにのみ条件付けられた個々のGPエキスパートにおける推論に還元することで、正確な事後分布推論を実行する。
• 回路の取り扱いやすさを活かして、マージナル尤度最大化によるハイパーパrameter最適化を実施し、効率的な勾配計算を可能にする。
• Trappら（2020）の手法を多出力設定に拡張するため、出力空間の分解を組み込み、出力相関の共同モデリングを可能にする。
• 画像補間などの応用において、MOMoGP事後分布からの予測平均を非パラメトリックな補間関数として利用する。

実験結果

リサーチクエスチョン

• RQ1 確率的回路を用いて構造化された単出力GPエキスパートの混合は、多出力回帰における正確かつ効率的な事後分布推論を可能にするか？
• RQ2 入力空間と出力空間の両方の再帰的分解は、出力間相関を効果的にモデル化しつつ、計算コストが著しく増大することなく実現可能か？
• RQ3 MOMoGPは、予測不確実性（NLPD）、回帰誤差（RMSE、MAE）、スケーラビリティの観点から、既存のエキスパートベースおよびスパース変分GP手法と比較してどのように差をつけるか？
• RQ4 MOMoGPは、正確な不確実性推定と滑らかな補間が不可欠な画像補間のような実世界のタスクに効果的に応用可能か？
• RQ5 出力次元の共同モデリングは、独立または変換された単出力モデルと比較して、予測性能をどの程度向上させるか？

主な発見

• MOMoGPは、問題を個々のGPエキスパートにおける推論に還元することで正確な事後分布推論を実現し、O(KM³)の複雑さで取り扱いやすくスケーラブルな計算を可能にする。ここでMはエキスパートごとの観測数を表す。
• EnergyやusFlightを含む大規模データセットにおいて、MOMoGPは比較対象のすべてのモデルの中で最低の負の対数予測密度（NLPD）を達成しており、優れた予測不確実性推定性能を示している。
• MOMoGPは、単出力GPモデルや多出力スパース変分GPベースラインと比較して、NLPDにおいて優れており、同時にRMSEとMAEの値についても競争力を持つ。
• 画像補間のタスクでは、MOMoGPがRMSE 1.289を達成し、バイリニア補間（RMSE: 1.542）や最近傍補間（RMSE: 1.855）を上回り、鋭いエッジとぼやけの少ない出力を得ている。
• 出力間相関を効果的に捉えていることが、NLPD値の低さから裏付けられており、これは予測分布の全体をより良い形でモデル化できていることを示している（平均のみではなく）。
• 入力空間と出力空間の両方の再帰的分解により、MOMoGPは単出力エキスパートモデルを越える表現力とスケーラビリティを備えた、多出力回帰のためのより洗練されたフレームワークを提供している。