[論文レビュー] Efficiently resolving rotational ambiguity in Bayesian matrix sampling with matching

Evan Poworoznek, Niccolò Anceschi+2 more|arXiv (Cornell University)|Jul 29, 2021

Bayesian Methods and Mixture Models参考文献 23被引用数 4

ひとこと要約

本稿では、Varimaxを用いた直交化と貪欲なマッチングアルゴリズムを組み合わせることで回転の不確かさを解消する、計算的に効率的な後処理手法MatchAlignを提案する。この手法により、事前分布を変更せずに非同定要因負荷行列に対する信頼性の高い推論が可能となり、既存手法と比較して最大10倍速い性能を達成しながら、高いマッチング精度を維持する。

ABSTRACT

A wide class of Bayesian models involve unidentifiable random matrices that display rotational ambiguity, with the Gaussian factor model being a typical example. A rich variety of Markov chain Monte Carlo (MCMC) algorithms have been proposed for sampling the parameters of these models. However, without identifiability constraints, reliable posterior summaries of the parameters cannot be obtained directly from the MCMC output. As an alternative, we propose a computationally efficient post-processing algorithm that allows inference on non-identifiable parameters. We first orthogonalize the posterior samples using Varimax and then tackle label and sign switching with a greedy matching algorithm. We compare the performance and computational complexity with other methods using a simulation study and chemical exposures data. The algorithm implementation is available in the infinitefactor R package on CRAN.

研究の動機と目的

• ベイジアン行列サンプリングにおける回転の不確かさ、特にガウス因子モデルのような非同定因子モデルに対して解決を図ること。
• 回転不変性により本質的に非同定である因子負荷行列に対する後部推論を信頼できるものにすること。
• 因子負荷行列に事前制約や構造的仮定を必要としない後処理手法の開発。
• 全順列探索手法と比較して計算コストを低減しつつ、高いマッチング精度を維持すること。
• 幅広いベイジアン行列因子分解問題に適用可能な実用的で効率的かつモデルに依存しないソリューションの提供。

提案手法

• 因子負荷行列の後部サンプルを直交化するため、Varimax回転を適用し、回転の不確かさを低減する。
• MCMCサンプル間のラベルおよび符号の入れ替えを解消するために、貪欲なマッチングアルゴリズムを用いる。この際、列ペアを逐次比較する。
• マッチング問題を二部グラフマッチング問題として定式化し、回転後の因子負荷列間の距離尺度を最小化する。
• MCMCサンプル間でラベルおよび符号を繰り返し再割り当てすることで、サンプルを整合させるが、後部構造を保持する。
• アルゴリズムをMCMCの事前分布や尤度構造に依存しない後処理ステップとして統合する。
• CRANに登録されたinfinitefactor Rパッケージに実装し、広範な利用可能性と応用を実現する。

実験結果

リサーチクエスチョン

• RQ1 因子負荷行列に事前制約を課さずに、ベイジアン行列サンプリングにおける回転の不確かさをどのように効率的に解消できるか。
• RQ2 全順列ベースのマッチング手法と比較して、貪欲なマッチングアプローチの計算効率はどの程度か。
• RQ3 提案手法が因子負荷行列の後部推論をどの程度改善するか、またΛΛᵀのような同定可能なパラメータを保持するか。
• RQ4 スパースまたは独立な因子負荷行列を有する高次元設定下でのアルゴリズムの性能はいかがなものか。
• RQ5 欠損値や複雑な相関構造を有する実世界データに対しても、この手法は効果的に適用可能か。

主な発見

• MatchAlignはPapastamoulisとNtzoufras（2020）の順列ベース手法と比較して、計算時間を少なくとも1桁以上短縮したが、同等のマッチング精度を維持した。
• p=50のシミュレーションにおいて、k=10、スパースなΛの下で、MatchAlignは有効サンプルサイズ（ESS）効率0.797を達成し、一部の設定でRSP-Full（0.826）およびRSP-Partial（0.783）を上回った。
• p=100のシナリオでは、k=10、スパースなΛの下で、MatchAlignはESS効率0.819を達成し、マッチング品質の観点でRSP-Full（0.782）およびRSP-Partial（0.789）を顕著に上回った。
• NHANES 2015–2016データセット（p=107、n=4468）では、MatchAlignが単一スレッドで約16秒で後部サンプルをマッチングし、スケーラビリティを示した。
• RSP-Full手法はトレースプロットで偏りを示し、マトリクス値がMatchAlignと比較して約20倍も高かった。これは、マッチングが不十分であることを示唆している。
• アルゴリズムはΛΛᵀのような同定可能なパラメータの後部分布を保持しており、共分散構造に関する有効な推論を保証した。