[論文レビュー] Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes

Zhenwen Dai, Mauricio A. Álvarez+1 more|arXiv (Cornell University)|May 27, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用数 7

ひとこと要約

本稿では、教師あり学習における複数の状態を、共有の潜在空間に状態に関する潜在的情報を埋め込むことで、同時にモデル化するベイジアンモデルである潜在変数複数出力ガウス過程（LVMOGP）を提案する。変分推論とクラメル構造を用いることで、スパースGPと同等の計算効率を達成し、少数のデータポイントでの新しい状態への頑健な一般化を可能にし、合成データおよび実世界の回帰タスクにおいて、既存のGP手法を著しく上回る性能を発揮する。

ABSTRACT

Often in machine learning, data are collected as a combination of multiple conditions, e.g., the voice recordings of multiple persons, each labeled with an ID. How could we build a model that captures the latent information related to these conditions and generalize to a new one with few data? We present a new model called Latent Variable Multiple Output Gaussian Processes (LVMOGP) and that allows to jointly model multiple conditions for regression and generalize to a new condition with a few data points at test time. LVMOGP infers the posteriors of Gaussian processes together with a latent space representing the information about different conditions. We derive an efficient variational inference method for LVMOGP, of which the computational complexity is as low as sparse Gaussian processes. We show that LVMOGP significantly outperforms related Gaussian process methods on various tasks with both synthetic and real data.

研究の動機と目的

• 異なる状況（例：異なる話者やカメラモデル）で収集されたデータにおいて、複数の状態をモデル化する課題に対処すること。
• テスト時に少数のデータポイントでのみ利用可能な、未観測の新しい状態への効果的な一般化を可能にすること。
• 入力特徴量のみでは捉えきれない状態固有の変動をモデル化し、それらをノイズとして扱うか、独立したモデルを用いることによる欠点を回避すること。
• スパースガウス過程と同等のスケーリングを実現しながら、状態間の相関を捉える計算効率の良い推論手法を開発すること。
• 既存手法（例：LMC）が高次元のコアジオナル化行列に起因する過学習問題を克服し、状態の低次元潜在表現を学習することで、過学習を低減すること。

提案手法

• LVMOGPは、各点が異なる状態を表す潜在空間を導入することで、ガウス過程を拡張し、複数の状態を統合的にモデル化する。
• 計算複雑度を低減するために、変分後退分布にクラメル積構造を用いる。これにより、独立出力のスパースGPと同等の計算コストを達成する。
• ガウス過程関数および潜在状態変数の両方に対する効率的なベイジアン推論を可能にする、閉形式の変分下界を導出する。
• 潜在変数は学習中に推論され、新しい状態の予測には、潜在空間内でのその事後分布の位置を推定することで実現する。
• 欠損データを扱えるようになり、条件依存の相関をモデル化することで、多次元回帰および補完タスクへの応用が可能になる。
• 潜在空間における自動関連性決定（ARD）を活用し、状態の変動を意味のある低次元表現として学習する。

実験結果

リサーチクエスチョン

• RQ1 ノイズとして扱うのではなく、状態固有の変動をモデル化しつつ、新しい状態への一般化を可能にする手法は構築可能か？
• RQ2 少数のデータポイントでのみ利用可能な新しい状態の潜在表現を、どのように効率的に推論できるか？
• RQ3 共有の潜在構造を持つ複数の相関のある出力をモデル化しつつ、スパースガウス過程と同等の計算効率を達成できるか？
• RQ4 状態の低次元潜在空間を学習することで、フルランクコアジオナル化手法と比較して一般化性能が向上し、過学習が低減するか？
• RQ5 低データ環境および大規模な欠損データ（例：センサー補完）下で、本手法はどのように性能を発揮するか？

主な発見

• 全200点、4つの状態を含む合成データでは、LVMOGPはテストRMSE 0.30±0.04を達成し、GP-ind（0.43±0.06）やLMC（0.47±0.09）を著しく上回った。
• 25の状態とスパースなデータを含むサーボデータセットでは、LVMOGPはRMSE 0.52±0.16を達成し、GP-OH（0.73±0.26）、LMC（0.69±0.35）、GP-ind（1.30±0.31）を上回った。
• 95％の欠損データを含むセンサー補完タスクでは、LVMOGPはRMSE 0.45±0.02を達成し、GP-ind（0.85±0.09）やLMC（0.59±0.21）を上回った。
• LVMOGPは、低データ状態においてたった1つのトレーニングデータポイントからのみでも非線形関数の外挿を成功させ、優れた一般化能力を示した。
• 高次元コアジオナル化行列に起因するLMCの過学習を回避し、繰り返し実験における結果の分散が低いことから、その有効性が裏付けられた。
• クラメル構造を有する変分後退分布の使用により、計算複雑度がスパースGPと同等となり、大規模データセットへのスケーラビリティを実現した。