[論文レビュー] Gaussian Process Quantile Regression using Expectation Propagation

Alexis Boukouvalas, Remi Barillec+1 more|arXiv (Cornell University)|Jun 27, 2012

Gaussian Processes and Bayesian Inference参考文献 19被引用数 8

ひとこと要約

本稿では、期待値の傾いた損失を効率的に最小化するために期待プロパゲーションを用いた、ガウス過程分位数回帰のための新規フレームワークを提案する。この手法により、条件付き分位数の直接推定が可能となり、合成データおよび実データ上で競争力ある性能を発揮する。ガウス過程の完全な確率的推論の利点を維持しつつ、EP近似によって扱いにくい積分を克服する。

ABSTRACT

Direct quantile regression involves estimating a given quantile of a response variable as a function of input variables. We present a new framework for direct quantile regression where a Gaussian process model is learned, minimising the expected tilted loss function. The integration required in learning is not analytically tractable so to speed up the learning we employ the Expectation Propagation algorithm. We describe how this work relates to other quantile regression methods and apply the method on both synthetic and real data sets. The method is shown to be competitive with state of the art methods whilst allowing for the leverage of the full Gaussian process probabilistic framework.

研究の動機と目的

• ガウス過程の完全なベイズ的柔軟性を活用する直接分位数回帰フレームワークの開発。
• ガウス過程事前分布下での分位数回帰における積分の非可解性に対処するため、期待プロパゲーションを用いる。
• 尤度ベースの近似に依存せずに、条件付き分位数の効率的かつ正確な推定を可能にする。
• 合成データおよび実世界のデータの両方で、最先端の分位数回帰手法と同等の性能を示すこと。
• ガウス過程の確率的モデリングの強力な能力と、分位数回帰のロバストネスを統合すること。

提案手法

• 本手法は、入力を用いて応答変数の条件付き分位数を関数としてモデル化し、ガウス過程事前分布を用いる。
• 分位数回帰を、GP事前分布下での期待値の傾いた損失関数の最小化問題として定式化する。
• 必要な積分が解析的に非可解であるため、期待プロパゲーション（EP）を用いて事後分布を近似する。
• EPを用いて、GP潜在関数上の非可解な事後分布を近似し、効率的な推論を可能にする。
• モーメントを一致させ、尤度要因を更新することで、反復的に近似を改善する。
• 得られたフレームワークは、直接分位数をモデル化しつつ、完全なベイズ的不確実性の定量化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 原則的な近似推論を用いて、ガウス過程モデルを直接分位数回帰に効果的に適応できるか。
• RQ2 EPに基づくGP分位数回帰の性能は、既存の最先端の分位数回帰手法と比べてどうか。
• RQ3 直接分位数回帰の文脈において、ガウス過程の完全な確率的フレームワークをどの程度維持できるか。
• RQ4 提案手法は、合成データおよび実世界のデータの両方でロバストで正確な性能を発揮するか。
• RQ5 期待プロパゲーションは、GP分位数回帰で生じる非可解な積分に対して、スケーラブルかつ正確な解決策を提供できるか。

主な発見

• 提案手法は合成データおよび実データにおいて競争力ある性能を発揮し、最先端の分位数回帰技術を上回るか同等の性能を示す。
• 期待プロパゲーションの使用により、GP分位数回帰における非可解な事後分布の効率的かつ正確な近似が可能になる。
• フレームワークは、直接分位数を推定しつつ、ガウス過程の完全な確率的モデリング能力を効果的に維持している。
• 実証的結果から、多様なデータ分布および分位数水準において、ロバストで安定した性能が示された。
• 実世界データにおいても優れた一般化性能を示し、実用的応用の有効性が検証された。
• 本手法は、分位数推定における計算効率と統計的精度の間で効果的なバランスを実現している。