[論文レビュー] Inferring Latent Structure From Mixed Real and Categorical Relational Data

Esther Salazar, Matthew S. Cain+3 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 27被引用数 6

ひとこと要約

本稿では、実数値属性とカテゴリカル属性を併せ持つ混合関係データから低次元の潜在的バイナリ特徴を推定する確率的生成モデルを提案する。低ランク共分散を持つ多変量ガウス分布を用いて行と列の潜在的特徴をモデル化し、プロビットリンクを適用することで、被験者と属性の両方における相関構造を捉える。これにより、異種関係行列における潜在的構造の共同推論が可能となり、解釈可能性と予測性能が向上する。

ABSTRACT

We consider analysis of relational data (a matrix), in which the rows correspond to subjects (e.g., people) and the columns correspond to attributes. The elements of the matrix may be a mix of real and categorical. Each subject and attribute is characterized by a latent binary feature vector, and an inferred matrix maps each row-column pair of binary feature vectors to an observed matrix element. The latent binary features of the rows are modeled via a multivariate Gaussian distribution with low-rank covariance matrix, and the Gaussian random variables are mapped to latent binary features via a probit link. The same type construction is applied jointly to the columns. The model infers latent, low-dimensional binary features associated with each row and each column, as well correlation structure between all rows and between all columns.

研究の動機と目的

• 実数値属性とカテゴリカル属性を併せ持つ関係データの分析という課題に、その背後にある潜在的構造を発見することで対処すること。
• 統一された確率的フレームワークを用いて、行（被験者）と列（属性）の両方の潜在的特徴を共同でモデル化すること。
• 潜在的バイナリ特徴に対する低ランクガウス事前分布を用いることで、被験者同士および属性同士の相関構造を捉えること。
• 後続の分析に適した、解釈可能で低次元の混合型関係データの表現を可能にすること。
• 従来の手法と比較して、異種データ行列における予測精度と構造的推論性能を向上させること。

提案手法

• 各被験者および各属性は、低ランク共分散行列を持つ多変量ガウス分布から抽出された潜在的バイナリ特徴ベクトルとして表現される。
• 潜在的ガウス変数は、プロビットリンク関数を介してバイナリ特徴に変換され、離散的カテゴリカルな結果をモデル化する。
• 観測された行列要素は、潜在的バイナリ特徴の行-列ペアを観測データに確率的マッピング関数を用いて写像することで生成される。
• モデルは、両方の次元にわたる依存関係を同時に捉えながら、すべての行と列の潜在的特徴を共同で推論する。
• 潜在変数の事後分布を近似するために変分ベイズ推論が用いられる。
• 共分散行列における低ランク構造により、潜在的特徴の低次元表現が保証され、一般化性能と解釈可能性が向上する。

実験結果

リサーチクエスチョン

• RQ1 混合実数値およびカテゴリカル関係データから、低次元の潜在的バイナリ特徴をどのように共同で推論できるか。
• RQ2 異種データにおいて、被験者間および属性間の相関構造を効果的に捉えるための確率的モデルは何か。
• RQ3 潜在的バイナリ特徴を用いて、関係行列内の実数値変数とカテゴリカル変数の同時分布をどのようにモデル化できるか。
• RQ4 潜在的特徴に低ランクガウス事前分布を適用することで、混合型データにおける推論性能と解釈可能性が向上するか。
• RQ5 提案手法は、従来の手法と比較して、混合関係データにおける予測精度と構造的発見の観点でどのように差をつけるか。

主な発見

• モデルは、混合関係データに意味のある構造を捉える低次元の潜在的バイナリ特徴を効果的に推定できた。
• 低ランクガウス事前分布の使用により、相関構造を保持しつつ、効率的かつスケーラブルな推論が可能になった。
• プロビットリンク変換は、連続的潜在変数と離散的カテゴリカル結果の関係を効果的にモデル化した。
• 行と列の共同モデリングは、独立したモデリングと比較して、欠損データの予測性能と構造発見の両面で向上した。
• ベンチマークデータセットにおける実験結果から、観測データの再構築および解釈可能な潜在パターンの解明において、本手法の優位性が実証された。