[論文レビュー] Rotation Invariant Householder Parameterization for Bayesian PCA

Rajbir-Singh Nirwan, Nils Bertschinger|arXiv (Cornell University)|May 12, 2019

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

この論文では、後方分布における回転対称性を解消するために、ハウスホルダー変換を用いた回転不変パrameterizationを、ベイジアン確率的主成分分析（PPCA）に提案する。ランダム行列理論を活用することで、ヤコビアン補正を必要とせず、元のモデルの分布を保ったまま新しいパrameterに対する事前分布を導出する。これにより、スタン（Stan）における効率的かつ意味のある後方要約が得られる解釈可能な推論が可能になる。

ABSTRACT

We consider probabilistic PCA and related factor models from a Bayesian perspective. These models are in general not identifiable as the likelihood has a rotational symmetry. This gives rise to complicated posterior distributions with continuous subspaces of equal density and thus hinders efficiency of inference as well as interpretation of obtained parameters. In particular, posterior averages over factor loadings become meaningless and only model predictions are unambiguous. Here, we propose a parameterization based on Householder transformations, which remove the rotational symmetry of the posterior. Furthermore, by relying on results from random matrix theory, we establish the parameter distribution which leaves the model unchanged compared to the original rotationally symmetric formulation. In particular, we avoid the need to compute the Jacobian determinant of the parameter transformation. This allows us to efficiently implement probabilistic PCA in a rotation invariant fashion in any state of the art toolbox. Here, we implemented our model in the probabilistic programming language Stan and illustrate it on several examples.

研究の動機と目的

• 尤度および後方分布における回転対称性が原因で生じるベイジアンPPCAの同定不能性を解消すること。
• MCMCサンプリングの効率性とパrameterの解釈性を妨げる、等しい後方密度を持つ連続的部分空間を排除すること。
• 元のモデルの分布を保ちつつ、主成分の固有の特定を可能にする再parameterizationを提供すること。
• 一般用途の推論ツールボックス（例：スタン）と互換性がある計算効率の良い手法を開発すること。
• 非線形モデル、例えばガウス過程埋め込み変数モデル（GP-LVM）への応用を拡張すること。

提案手法

• スタイフェル多様体上の直交行列への写像を可能にする、非制約パrameterを用いた因子負荷行列のparameterization。
• 因子負荷行列を直交成分と特異値に分解するための特異値分解（SVD）の適用。
• ランダム行列理論の結果を用いて、因子負荷行列上の元のガウス事前分布と一致するハウスホルダーパrameterに対する誘導事前分布を導出。
• 既知の分布的性質に依存することで、ヤコビアン行列式の直接計算を回避。
• 新しいparameterizationを用いてスタンにモデルを実装し、効率的なハミルトニアンモンテカルロサンプリングを可能に。
• 合成データおよび乳癌ウィsコン州データセットを用いた妥当性検証。標準PPCAおよびGP-LVMと比較。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンPPCAの後方分布における回転対称性を、モデルの連合分布を変更せずに除去することは可能か？
• RQ2 ハウスホルダー変換に基づくparameterizationは、元の事前分布を保ちつつ、主成分の固有の特定を可能にするか？
• RQ3 ヤコビアン行列式を明示的に計算することなく、ハウスホルダーパrameterに対する誘導事前分布を導出することは可能か？
• RQ4 提案手法は、PPCAおよびGP-LVMにおけるサンプリング効率と後方要約の解釈性をどのように向上させるか？
• RQ5 この手法は、回転対称性を持つ尤度関数を有する非線形潜在変数モデルへ拡張可能か？

主な発見

• ハウスホルダーに基づくparameterizationは、後方分布における回転対称性を効果的に除去し、因子負荷行列の固有で解釈可能な後方サンプルをもたらした。
• ランダム行列理論を用いて導出されたハウスホルダーパrameterに対する誘導事前分布は、因子負荷行列上の元のガウス事前分布と正確に一致し、ヤコビアン補正を回避した。
• 合成データおよび実世界のデータにおいて、サンプリング効率が著しく向上し、対称部分空間を探索するのではなく、一意のモードに収束するようになった。
• 乳癌ウィスコンシン州データセットにおいて、本手法は古典的PCAと整合性のある後方推定値を生成した一方で、因子負荷行列の不確実性を定量的に評価できた。
• 本手法はGP-LVMに対しても成功裏に拡張され、潜在空間における回転対称性を排除し、意味のある後方推論を可能にした。
• スタンにおける実装では、下位のサンプリングアルゴリズムに変更を加える必要がなく、標準的な確率的プログラミングツールとの互換性を示した。