[論文レビュー] Bayesian analysis of matrix data with rstiefel

Peter D. Hoff|arXiv (Cornell University)|Apr 12, 2013

Bayesian Methods and Mixture Models参考文献 7被引用数 5

ひとこと要約

本稿では、Rパッケージ rstiefel を用いて、低ランク行列モデルおよび社会的ネットワークモデリングに焦点を当てた、行列変量データ解析のベイズ枠組みを提示する。Stiefel多様体上での行列変量 von Mises-Fisher分布およびBingham分布を活用し、Gibbsサンプリングによる後方分布推論を可能にし、低ランク平均行列の推定や、潜在的同質性効果を有する思春期の友人関係ネットワークのモデリングに応用を示す。

ABSTRACT

We illustrate the use of the R-package "rstiefel" for matrix-variate data analysis in the context of two examples. The first example considers estimation of a reduced-rank mean matrix in the presence of normally distributed noise. The second example considers the modeling of a social network of friendships among teenagers. Bayesian estimation for these models requires the ability to simulate from the matrix-variate von Mises-Fisher distributions and the matrix-variate Bingham distributions on the Stiefel manifold.

研究の動機と目的

• 低ランク構造を有する行列変量データを完全にベイズ的手法で解析するためのアプローチを開発すること。
• 特にvon Mises-FisherおよびBingham分布を含む、Stiefel多様体上での行列変量指数型分布族からのシミュレーションを可能にすること。
• 実世界の問題への応用：正規ノイズ下での低ランク平均行列の推定および思春期の友人関係ネットワークのモデリング。
• 潜在的要因、特異値、ネットワーク構造の完全な後方分布推論を可能にする、Gibbsサンプリングと共役事前分布を用いた計算パイプラインの提供。

提案手法

• パrameters A, B, C に対して、密度が exp(tr(C^T U + B U^T A U)) に比例する行列変量指数型分布族を、Stiefel多様体 V_{R,m} 上に定義する。
• 共役事前分布の適用：特異値 d_j に対して独立した正規事前分布、σ² および τ² に対してガンマ事前分布、U および V に対してStiefel多様体上での一様事前分布。
• Gibbsサンプリングを用いて反復的にパラメータを更新する：U はBingham分布から、V はMF分布から、d_j は正規事後確率密度から、σ² はガンマ事後確率密度から更新。
• 二値ネットワークデータをモデリングするための潜在変数 Z を導入し、Y, U, Λ, θ を与えたもとで Z ~ 制約付き正規分布とし、rZ_fc 関数によるデータ増幅ステップを適用。
• MCMCの各反復で得られる UΛU^T を蓄積し、その平均を近似することで、UΛU^T の後方平均の確率的近似を実施し、その後固有値分解を用いて潜在的要因を推定。
• 行列 B の対角成分を順序付けられるように再パラメータライズし、Y の対角成分を未観測とみなしてMCMCスキーム内で統合的に取り扱う。

実験結果

リサーチクエスチョン

• RQ1 正規ノイズ下で低ランク構造を有する行列変量データを、完全にベイズ的手法で推定するにはどうすればよいか？
• RQ2 多変量行列モデルにおける直交因子行列のモデリングにおいて、Stiefel多様体の役割は何か？
• RQ3 行列変量Bingham分布およびvon Mises-Fisher分布を用いて、社会的ネットワークデータの潜在的構造をどのようにモデリングできるか？
• RQ4 社会的ネットワークモデルにおける潜在的要因が、健康行動の類似性によって示される同質性（homophily）をどの程度反映しているか？
• RQ5 Stiefel多様体上での行列変量分布を含むモデルに対して、Gibbsサンプラーを効率的に構築できるか？

主な発見

• θ（ネットワーク全体の密度を表す）の後方密度は正の値に集中しており、友人関係形成の非自明な水準が示唆される。
• 順序付き特異値（λ₁, λ₂）の周辺後方密度は両方とも正であり、ゼロから明確に分離されており、ランク2モデルの使用が妥当であることを支持する。
• MCMCの蓄積によるUΛU^Tの後方平均推定は、潜在空間におけるノードの明確なクラスタリングを示しており、非薬物使用・非喫煙者（緑色の円）が他のグループと分離されている。
• 観察されたネットワーク構造は潜在的要因推定と整合しており、健康行動プロファイル（喫煙／薬物使用）が類似する個体同士が友人関係を形成しやすいことが示された。
• 初期値を単純に設定した場合でもGibbsサンプラーは適切に収束し、10,000反復後にネットワーク構造の後方平均が良好に近似された。
• モデルは同質性を適切に捉えている：潜在的要因 u_i^T Λ u_j の類似性が高くなるほど、友人関係の確率が上昇する。