[論文レビュー] Invariant Gaussian Process Latent Variable Models and Application in Causal Discovery

Kun Zhang, Bernhard Schölkopf+1 more|Uncertainty in Artificial Intelligence|Mar 15, 2012

Gaussian Processes and Bayesian Inference参考文献 23被引用数 9

ひとこと要約

本稿では、潜在関数の変換版にガウス過程事前分布を適用することにより、任意のノイズ共分散を扱えるように拡張された不変ガウス過程潜在変数モデル（IGPLVM）を提案する。この手法は非特異的線形データ変換に対して不変性を保ち、非線形多様体学習および因果発見に有効である。実験結果により、合成データおよび実世界のデータにおいて優れた性能を示している。

ABSTRACT

In nonlinear latent variable models or dynamic models, if we consider the latent variables as confounders (common causes), the noise dependencies imply further relations between the observed variables. Such models are then closely related to causal discovery in the presence of nonlinear confounders, which is a challenging problem. However, generally in such models the observation noise is assumed to be independent across data dimensions, and consequently the noise dependencies are ignored. In this paper we focus on the Gaussian process latent variable model (GPLVM), from which we develop an extended model called invariant GPLVM (IGPLVM), which can adapt to arbitrary noise covariances. With the Gaussian process prior put on a particular transformation of the latent nonlinear functions, instead of the original ones, the algorithm for IGPLVM involves almost the same computational loads as that for the original GPLVM. Besides its potential application in causal discovery, IGPLVM has the advantage that its estimated latent nonlinear manifold is invariant to any nonsingular linear transformation of the data. Experimental results on both synthetic and realworld data show its encouraging performance in nonlinear manifold learning and causal discovery.

研究の動機と目的

• 非線形交絡要因モデルにおいて特に重要な、次元間で相関するノイズを扱えない標準GPLVMの限界を解消すること。
• 観測データの非特異的線形変換に対して不変性を保つモデルの開発により、耐性性を向上させること。
• ノイズの依存関係を明示的にモデル化することで、非線形交絡要因が存在する状況における因果発見を可能にすること。
• 柔軟なノイズ共分散構造を組み込みつつ、標準GPLVMと同等の計算効率を維持すること。
• 因果推論および多様体学習への応用を想定した、非線形潜在変数モデルの整合的フレームワークの提供。

提案手法

• 元の潜在関数ではなく、変換された潜在関数にガウス過程事前分布を適用する不変GPLVM（IGPLVM）を導入すること。
• 潜在非線形関数を変換空間におけるGP事前分布でモデル化することで、任意のノイズ共分散構造を許容すること。
• 一般のノイズ共分散行列を用いた尤度の定式化により、次元間でのノイズ項の依存関係を可能にすること。
• 変換の構造を活用することで、標準GPLVMに近い計算複雑性を維持する最適化手順を導出すること。
• 観測データの任意の非特異的線形変換に対して、推定された潜在多様体が不変であることを保証すること。
• 変分推論または最適化手法を用いて、潜在変数およびハイパーパrameterの事後分布を近似すること。

実験結果

リサーチクエスチョン

• RQ1 計算効率を維持しつつ、任意のノイズ共分散構造をモデル化できるようにGPLVMを拡張できるか？
• RQ2 提案されたIGPLVMは、観測データの線形変換に対して不変性を保っているか？
• RQ3 ノイズの依存関係が存在する状況で、IGPLVMは非線形多様体学習を改善できるか？
• RQ4 非線形交絡要因が存在する状況で、IGPLVMはどの程度因果発見を支援できるか？
• RQ5 合成データおよび実世界のデータにおいて、IGPLVMは標準GPLVMおよび他の手法と比較してどの程度の性能を示すか？

主な発見

• IGPLVMは任意のノイズ共分散構造を正確にモデル化でき、潜在変数モデルにおける相関するノイズの表現をより正確に可能にした。
• 推定された非線形潜在多様体は、データの任意の非特異的線形変換に対して不変であり、耐性性が向上した。
• 合成データおよび実世界のデータの両方において、IGPLVMは非線形多様体学習で競争力ある性能を達成した。
• 非線形交絡要因が引き起こす複雑な依存関係を捉えることができることから、因果発見においても有望な結果を示した。
• IGPLVMの計算コストは標準GPLVMと同等であり、実用的応用にスケーラブルであることが保証された。
• 実験結果から、特に因果発見タスクにおいて、依存ノイズが存在する状況でIGPLVMは標準GPLVMを上回ることが示された。