[論文レビュー] Spike and slab Bayesian sparse principal component analysis

Bo Ning, Ning, Ning|arXiv (Cornell University)|Jan 30, 2021

Bayesian Methods and Mixture Models参考文献 5被引用数 7

ひとこと要約

本稿では、負荷行列の直交制約に対処するために、パラメータ拡張座標上昇変分ベイズ推論（PX-CAVI）を用いた、スパイク・スラブ事後分布を用いた新しいスパイク・スラブベイジアンスパース主成分分析（SPCA）手法を提案する。この手法は、負荷行列と直交行列の積にスパイク・スラブ事前分布を適用することで、効率的な計算と、シミュレーションおよび実データ解析における既存のSPCA手法を上回る性能を実現する。

ABSTRACT

Sparse principal component analysis (SPCA) is a popular tool for dimensionality reduction in high-dimensional data. However, there is still a lack of theoretically justified Bayesian SPCA methods that can scale well computationally. One of the major challenges in Bayesian SPCA is selecting an appropriate prior for the loadings matrix, considering that principal components are mutually orthogonal. We propose a novel parameter-expanded coordinate ascent variational inference (PX-CAVI) algorithm. This algorithm utilizes a spike and slab prior, which incorporates parameter expansion to cope with the orthogonality constraint. Besides comparing to two popular SPCA approaches, we introduce the PX-EM algorithm as an EM analogue to the PX-CAVI algorithm for comparison. Through extensive numerical simulations, we demonstrate that the PX-CAVI algorithm outperforms these SPCA approaches, showcasing its superiority in terms of performance. We study the posterior contraction rate of the variational posterior, providing a novel contribution to the existing literature. The PX-CAVI algorithm is then applied to study a lung cancer gene expression dataset. The R package VBsparsePCA with an implementation of the algorithm is available on the Comprehensive R Archive Network (CRAN).

研究の動機と目的

• 主成分の直交性制約を尊重する理論的根拠があり、計算的にスケーラブルなベイジアンSPCA手法の開発を目的とする。
• ランクが1を超える場合に、既存のベイジアンSPCAアプローチにおける事後分布計算の非可解性を克服することを目的とする。
• 柔軟なスパイク・スラブ事前分布を用いてスパarsityを組み込みつつ、潜在的な直交行列を介して直交性を維持することを目的とする。
• 変分事後分布の理論的収縮率を確立し、文献において新たな貢献をすることを目的とする。
• 実世界への応用を可能にするために、RパッケージVBsparsePCAを通じた実用的実装を提供することを目的とする。

提案手法

• ベイジアンSPCAにおける直交制約を扱うために、パラメータ拡張座標上昇変分ベイズ推論（PX-CAVI）アルゴリズムを提案する。
• 負荷行列と潜在的直交行列の積にスパイク・スラブ事前分布を適用し、スパarsityと直交性を両立させる。
• 真の事後分布と取り扱いやすい近似分布との間のKullback-Leibler発散を最小化することで、変分事後分布を導出する。
• パラメータ拡張を組み込むことで、変分推論プロセスにおける混合性と収束性を向上させる。
• 潜在変数の期待値を用いて、負荷行列の平均および精度行列の閉形式更新式を導出する。
• PX-CAVIアルゴリズムの比較的評価を目的として、EMの類似手法（PX-EM）を導入する。

実験結果

リサーチクエスチョン

• RQ1 スパイク・スラブ事前分布を用いたベイジアンSPCA手法は、スパarsityと直交性の両方を満たしつつ、計算的にスケーラブルであるか？
• RQ2 PX-CAVIアルゴリズムは、既存のSPCA手法と比較して、推定精度および変数選択性能において優れているか？
• RQ3 このベイジアンSPCAフレームワークにおける変分事後分布の理論的収縮率は何か？
• RQ4 パラメータ拡張の導入は、直交制約が存在する状況での推論効率をどのように向上させるか？
• RQ5 提案手法は、高次元の遺伝子発現データにおいて生物学的に関連する遺伝子経路を効果的に同定できるか？

主な発見

• 数値シミュレーションにおいて、PX-CAVIアルゴリズムは2つの代表的なSPCA手法を著しく上回り、優れた推定精度と変数選択性能を示した。
• 変分事後分布の収縮率が確立され、本手法の一貫性に対する理論的根拠が得られた。
• 次元数$p \gg n$の高次元設定でも、真のスパース成分の回復がより良好に達成された。
• 肺がんの遺伝子発現データセットにおいて、生物学的に関連する遺伝子経路が効果的に同定された。実用的有用性が示された。
• RパッケージVBsparsePCAがCRANにリリースされ、本手法の再現可能でアクセス可能な応用が可能になった。
• PX-EMアルゴリズムは有効なEMベースの代替手法として機能し、PX-CAVIフレームワークの堅牢性を裏付けた。