[論文レビュー] Gaussian Process Conditional Density Estimation

Vincent Dutordoir, Hugh Salimbeni+2 more|arXiv (Cornell University)|Oct 30, 2018

Gaussian Processes and Bayesian Inference参考文献 16被引用数 10

ひとこと要約

この論文は、潜在変数とガウス過程を用いて複雑で非ガウス的な条件付き密度をモデル化するベイジアン非パラメトリックモデル、Gaussian Process Conditional Density Estimation (GP-CDE) を提案する。入力を潜在変数で拡張し、自然勾配を用いた確率的変分推論を採用することで、データが少ない状況下でも正確な密度推定が可能となり、大規模データセットにもスケーリング可能である。特にデータが限られる状況では、CVAEなどのパラメトリックモデルを凌駆する性能を示す。

ABSTRACT

Conditional Density Estimation (CDE) models deal with estimating conditional distributions. The conditions imposed on the distribution are the inputs of the model. CDE is a challenging task as there is a fundamental trade-off between model complexity, representational capacity and overfitting. In this work, we propose to extend the model's input with latent variables and use Gaussian processes (GP) to map this augmented input onto samples from the conditional distribution. Our Bayesian approach allows for the modeling of small datasets, but we also provide the machinery for it to be applied to big data using stochastic variational inference. Our approach can be used to model densities even in sparse data regions, and allows for sharing learned structure between conditions. We illustrate the effectiveness and wide-reaching applicability of our model on a variety of real-world problems, such as spatio-temporal density estimation of taxi drop-offs, non-Gaussian noise modeling, and few-shot learning on omniglot images.

研究の動機と目的

• 限られた学習データにおける複雑で非ガウス的な条件付き密度の推定という課題に対処すること。
• データが少ない状況でCVAEなどのパラメトリックモデルが過学習や過度に集中する問題を克服すること。
• 自然勾配を用いた確率的変分推論により、条件付き密度推定のスケーラブルな推論を可能にすること。
• GPベースのデコーダーを用いて既知の入力と潜在変数を組み合わせることで、豊富でマルチモーダルな分布をモデル化すること。
• 時空間的および高次元設定における異なる条件下で学習済み表現を構造的に共有できること。

提案手法

• モデルは、潜在変数 w を導入することで入力空間を拡張し、観測された入力 x と潜在変数 w をガウス過程で同時にモデル化する。
• 認識（エンコーダー）ニューラルネットワークにより、x と y が与えられたもとでの潜在変数 w の事後分布をアモアタイズ（近似）し、効率的な推論を可能にする。
• 入力 x に対しては線形変換行列 A を、GP出力 f に対しては線形変換行列 P を適用することで、次元削減と出力相関のモデル化を実現する。
• 確率的GPデコーダーを用いて拡張された入力 (x, w) を観測出力 y にマッピングし、不確実性の伝播と事前分布の指定を可能にする。
• 特にデータが少ない・高次元な状況下で効果的である、自然勾配を用いた確率的変分推論を採用してスケーラブルな学習を実現する。
• 変分目的関数は自然勾配を用いて最適化され、Adamなどの標準最適化手法に比べて収束が速く、近似品質が優れている。

実験結果

リサーチクエスチョン

• RQ1 GPベースのモデルは、データが少ない状況下でも非ガウス的でマルチモーダルな条件付き密度を効果的に捉えることができるか？
• RQ2 潜在変数の導入により、標準的なGP回帰やCVAEと比較して密度推定性能がどのように向上するか？
• RQ3 自然勾配最適化は、標準最適化手法に比べてGP-CDEにおける変分推論の性能をどの程度向上させるか？
• RQ4 潜在構造を共有することで、特に時空間的またはフェイシュート学習タスクにおいて、モデルは異なる条件下で一般化できるか？
• RQ5 データが限られる状況下で、GP-CDEはCVAEなどのパラメトリックモデルに比べてテスト対数尤度と分散推定においてどのように差をつけるか？

主な発見

• MNISTでクラス1つあたり2枚の訓練画像しか使用しない状況でも、GP-CDEはCVAEより顕著に高いテスト対数尤度を達成し、テスト対数尤度は161.9であるのに対し、CVAEは分散を固定した状態で-129.72を記録した。
• N=2の訓練例でも、GP-CDEは安定した分散推定を維持するが、CVAEは同様の条件下で顕著な分散過小評価を示し、テスト対数尤度は-1296.63にまで低下した。
• 自然勾配最適化では、100サンプルの「1」数字データセットでテスト対数尤度が1.02に達し、解析解と一致した。一方、標準のAdam最適化では-0.13にとどまった。
• モデルは時空間的データにおけるマルチモーダルなタクシー降車分布を効果的に捉えており、実世界の密度推定タスクにおける有効性を示している。
• GP-CDEは条件間での一般化がうまくいくため、クラス間で潜在構造を共有することで、Omniglot画像におけるフェイシュート学習を効果的に行える。
• 線形変換行列 A と P の使用により、高次元入力および相関のある出力のモデリングが向上し、複雑なデータドメインにおける性能向上が見られた。