[論文レビュー] Semi-described and semi-supervised learning with Gaussian processes

Andreas Damianou, Neil D. Lawrence|arXiv (Cornell University)|Sep 3, 2015

Gaussian Processes and Bayesian Inference参考文献 16被引用数 20

ひとこと要約

本論文は、非線形マッピングを介した確率的不確実性伝播を可能にする、ガウス過程の変分ベイズ枠組みを導入する。この枠組みは、欠損出力（半教師あり学習）と不確実または欠損入力（半記述的学習）の両方を同時に扱い、特にラベル付きデータが限られる状況でも、回帰、分類、反復的予測タスクにおける性能を著しく向上させる。入力の不確実性を変分制約でモデル化し、近似事後分布からのサンプリングを実施することで、非線形変換における不確実性の整合的伝播を実現する。

ABSTRACT

Propagating input uncertainty through non-linear Gaussian process (GP) mappings is intractable. This hinders the task of training GPs using uncertain and partially observed inputs. In this paper we refer to this task as "semi-described learning". We then introduce a GP framework that solves both, the semi-described and the semi-supervised learning problems (where missing values occur in the outputs). Auto-regressive state space simulation is also recognised as a special case of semi-described learning. To achieve our goal we develop variational methods for handling semi-described inputs in GPs, and couple them with algorithms that allow for imputing the missing values while treating the uncertainty in a principled, Bayesian manner. Extensive experiments on simulated and real-world data study the problems of iterative forecasting and regression/classification with missing values. The results suggest that the principled propagation of uncertainty stemming from our framework can significantly improve performance in these tasks.

研究の動機と目的

• 部分的に観測されたまたは不確実な入力特徴量を伴うガウス過程の学習という課題に取り組むこと。これは非線形な不確実性伝播のため、従来は非効率的であった。
• 半教師あり学習（出力の欠損）と半記述的学習（入力の欠損）を、統一されたベイズ的GPフレームワークで統合すること。
• 完全なベイズ的性質を保ちつつ、欠損入力を原理的かつ確率論的に補完できる仕組みを提供すること。
• 予測系列にわたる不確実性伝播をモデル化することで、自己回帰的予測タスクへのフレームワークの拡張を図ること。
• 入力と出力の両方の欠損を一貫した変分近似内で扱える、スケーラブルで並列化可能な推論アルゴリズムの開発

提案手法

• 本手法は、潜在的入力における事後分布を近似するために変分推論を用い、訓練およびテスト時の入力における不確実性を明示的にモデル化する。
• 入力事後分布を観測されたノイズ混じりまたは部分的な入力値に条件づけるための変分制約メカニズムを導入し、不確実性の整合的伝播を可能にする。
• TitsiasとLawrence（2010）の変分GPアプローチを用いて、近似事後密度を介して非線形GPマッピングへの入力不確実性の伝播を実現する。
• 半教師あり学習では、すべての入力（ラベルありおよびラベルなし）から低次元埋め込みを学習し、その後、変分事後分布からのサンプリングにより、小さなラベル付きデータセットを埋め込む。
• 各データポイントおよび次元ごとに異なるレベルの入力不確実性を扱えるが、不確実性は変分パラメータによってモデル化されるため、過学習のリスクが増加しない。
• フレームワークは並列推論アルゴリズムに統合されており、実世界のデータセットへのスケーラビリティと効率的な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルは、完全にベイズ的かつ一貫した方法で、欠損または不確実な入力特徴量を効果的に処理できるか？
• RQ2 部分的に観測された入力からの不確実性を、非線形GPマッピングを介して扱える方法で、実行可能に伝播できるか？
• RQ3 統一されたフレームワークにより、半教師あり学習（出力の欠損）と半記述的学習（入力の欠損）の両方を、1つのGPベースの手法で同時に解決できるか？
• RQ4 原理的不確実性伝播は、ラベル付きデータが限られる回帰、分類、反復的予測タスクにおける性能向上に寄与するか？
• RQ5 標準ベースライン（GP-LVMやPCA）と比較して、本手法は低データ環境下でどのように性能を発揮するか？

主な発見

• 提案手法は、特にラベル付きデータが限られる状況において、標準的なGP-LVMやPCAといったベースライン手法を著しく上回る性能を示した。
• USPS手書き数字データセットにおいて、本手法はベースラインを大幅に上回り、少数のラベル付き例しか使用しない状況でも誤差低減が確認された。
• 入力空間の変分事後分布からの複数サンプリングが、平均値のみを用いる場合よりも優れた性能をもたらした。これは、不確実性を考慮したサンプリングの価値を示している。
• 極端なデータ不足状況においても本手法は良好なロバストネスを示し、ヒューリスティックな自己学習ベースラインを上回った。
• オイルフローデータセットにおける結果は、複数の試行において一貫した改善を示し、未ラベルデータを効果的に活用して分類精度を向上させた。
• フレームワークは自己回帰的予測を半記述的学習問題としてモデル化に成功し、予測系列にわたる不確実性伝播を可能にした。