[論文レビュー] Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data

Yarin Gal, Yutian Chen+1 more|arXiv (Cornell University)|Mar 7, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用数 16

ひとこと要約

本稿では、スパースなガウス過程を用いて連続的な潜在空間からの非線形変換として観測値をモデル化することにより、スパースで多次元の多項分布を推定するベイジアンモデル、カテゴリカル潜在ガウス過程（CLGP）を提案する。この手法は、不確実性を伴うソフトマックス尤度の扱いが困難であるため、サンプリングに基づく変分推論を用いる。スパースデータセットにおける補完タスクにおいて、線形モデルや離散モデルを凌駕する性能を示した。

ABSTRACT

Multivariate categorical data occur in many applications of machine learning. One of the main difficulties with these vectors of categorical variables is sparsity. The number of possible observations grows exponentially with vector length, but dataset diversity might be poor in comparison. Recent models have gained significant improvement in supervised tasks with this data. These models embed observations in a continuous space to capture similarities between them. Building on these ideas we propose a Bayesian model for the unsupervised task of distribution estimation of multivariate categorical data. We model vectors of categorical variables as generated from a non-linear transformation of a continuous latent space. Non-linearity captures multi-modality in the distribution. The continuous representation addresses sparsity. Our model ties together many existing models, linking the linear categorical latent Gaussian model, the Gaussian process latent variable model, and Gaussian process classification. We derive inference for our model based on recent developments in sampling based variational inference. We show empirically that the model outperforms its linear and discrete counterparts in imputation tasks of sparse data.

研究の動機と目的

• 多変量カテゴリカルデータの分布推定の課題に取り組むこと。特に、可能な構成の組み合わせが指数関数的に増加するため、スパース性が著しく顕在する小規模でラベルなしのデータセットにおいて。
• ディリクレ・多項分布や線形潜在ガウスモデルといった従来のモデルが、スパースなデータにおける複雑で多次元の依存関係を捉えることのできない限界を克服すること。
• 大規模なラベル付きデータで用いられる教師あり埋め込み手法を、非教師あり設定に拡張すること。これにより、非線形変換を伴う連続的な潜在空間を導入する。
• 線形潜在ガウスモデル、ガウス過程による潜在変数モデル、ガウス過程分類を統合するスケーラブルでベイジアンなフレームワークを構築すること。
• 医療診断や手書き数字認識といった実世界の応用分野において、分布推定とデータ補完の性能を向上させること。

提案手法

• 多変量カテゴリカルデータを、スパースなガウス過程（GPs）を用いて連続的な潜在空間からの非線形変換として生成されたものとしてモデル化する。
• 潜在空間に標準正規分布の事前分布を設定し、非線形なガウス過程を用いて潜在変数をクラス確率にマッピングする（ソフトマックス関数を介して）。
• 潜在変数の後ろ向き分布が解析的に求められないため、サンプリングに基づく変分推論を用いて、証拠下限界（ELBO）をモンテカルロ統合を用いて推定する。
• 学習率フリーな最適化手法（例：Adam）と記号的微分（Theano）を活用し、効率的な学習を実現する。
• インダクションポイントを用いることで、線形時間計算量を達成し、より大きなデータセットへのスケーラビリティを実現する。
• 最近の変分推論の進展、特にノイズを含む勾配推定と分散低減技術を活用して推論を導出する。

実験結果

リサーチクエスチョン

• RQ1 非線形で連続的な潜在空間モデルは、多変量カテゴリカルデータにおける多次元的でスパースな分布を効果的に捉えることができるか？
• RQ2 スパースデータセットにおいて、提案されたCLGPモデルは線形モデルや離散モデルと比較して、分布推定およびデータ補完の性能で優れているか？
• RQ3 スパースなガウス過程とサンプリングに基づく変分推論を用いることで、カテゴリカルデータの非教師ありモデリングにおけるロバスト性とスケーラビリティがどの程度向上するか？
• RQ4 教師ありクラスタリングの例として、ラベルなしで学習した場合に、手書き数字の非教師ありクラスタリングにおいても一般化性能が十分に高いか？
• RQ5 最適化過程におけるモンテカルロ推定の分散と、モデルの推論安定性および収束特性の関係は何か？

主な発見

• 乳がんデータセットでは、CLGPモデルの訓練時のログパープレキシティが1.56であった。一方、線形LGMは訓練誤差が1.34であったが、テストパープレキシティが上昇しており、過学習が生じていることが示された。
• バイナリアルファデジットデータセットでは、CLGPは収束が遅いものの、2次元潜在空間を用いた場合、LGMよりも低いテストログパープレキシティを達成し、より優れた一般化性能を示した。
• 潜在空間の可視化（図4cおよび4d）では、ラベルを一切使用しない状態でもCLGPは優れたクラス分離を示しており、非教師あり表現学習の有効性が裏付けられた。
• 推論はロバストであった。モンテカルロ標準偏差が反復回数を増すごとに減少しており、勾配推定の精度が向上し、収束が速くなったことが示された。
• 乳がんデータセットの全スプリットにおいて、CLGPはLGMを上回り、より低いテストパープレキシティを達成した。これは、スパースな状況下でも過学習を回避できる能力を示している。
• ASESアンケートデータセットでは、CLGPのテストパープレキシティは1.98であったが、LGMの1.97よりわずかに劣っていた。これは、データセットがほぼ線形分離可能であることを示しており、モデルのデータ構造への感受性が妥当であることを裏付けた。