[논문 리뷰] Spike and slab Bayesian sparse principal component analysis

Bo Ning, Ning, Ning|arXiv (Cornell University)|2021. 01. 30.

Bayesian Methods and Mixture Models참고 문헌 5인용 수 7

한 줄 요약

이 논문은 부하 행렬의 직교성 제약 조건을 해결하기 위해, 매개수 확장 좌표 상승 변분 추론(PX-CAVI)를 사용하는 새로운 스파크 및 슬래브 베이지안 희소 주성분 분석(SPCA) 방법을 제안한다. 이 방법은 부하 행렬과 직교 행렬의 곱에 스파크 및 슬래브 사전분포를 적용하여 효율적인 계산과 기존 SPCA 방법들보다 뛰어난 성능을 달성한다. 시뮬레이션 및 실데이터 분석에서 검증되었다.

ABSTRACT

Sparse principal component analysis (SPCA) is a popular tool for dimensionality reduction in high-dimensional data. However, there is still a lack of theoretically justified Bayesian SPCA methods that can scale well computationally. One of the major challenges in Bayesian SPCA is selecting an appropriate prior for the loadings matrix, considering that principal components are mutually orthogonal. We propose a novel parameter-expanded coordinate ascent variational inference (PX-CAVI) algorithm. This algorithm utilizes a spike and slab prior, which incorporates parameter expansion to cope with the orthogonality constraint. Besides comparing to two popular SPCA approaches, we introduce the PX-EM algorithm as an EM analogue to the PX-CAVI algorithm for comparison. Through extensive numerical simulations, we demonstrate that the PX-CAVI algorithm outperforms these SPCA approaches, showcasing its superiority in terms of performance. We study the posterior contraction rate of the variational posterior, providing a novel contribution to the existing literature. The PX-CAVI algorithm is then applied to study a lung cancer gene expression dataset. The R package VBsparsePCA with an implementation of the algorithm is available on the Comprehensive R Archive Network (CRAN).

연구 동기 및 목표

• 주성분의 직교성 제약 조건을 존중하면서도 이론적으로 타당하고 계산적으로 확장 가능한 베이지안 SPCA 방법을 개발하는 것.
• 질량이 1을 초과할 경우 기존의 베이지안 SPCA 접근법에서 사후분포 계산의 비가역성 문제를 해결하는 것.
• 유연한 스파크 및 슬래브 사전분포를 통해 희소성을 도입하면서도 잠재적 직교 행렬을 통해 직교성을 유지하는 것.
• 이 변분 사후분포에 대한 이론적 사후 수축률을 규명하는 것으로, 문헌에 새로운 기여를 하는 것.
• 실세계 적용을 위해 R 패키지 VBsparsePCA를 통해 실용적인 구현을 제공하는 것.

제안 방법

• 베이지안 SPCA에서의 직교성 제약 조건을 다루기 위해 매개수 확장 좌표 상승 변분 추론(PX-CAVI) 알고리즘을 제안한다.
• 부하 행렬과 잠재적 직교 행렬의 곱에 스파크 및 슬래브 사전분포를 적용하여 희소성과 직교성을 동시에 확보한다.
• 진짜 사후분포와 계산 가능한 근사분포 사이의 쿨백-라이블러 발산을 최소화하여 변분 사후분포를 유도한다.
• 변분 추론 과정에서 혼합 및 수렴을 향상시키기 위해 매개수 확장을 통합한다.
• 잠재 변수에 대한 기대값을 사용하여 부하 행렬의 평균 및 정밀도 행렬에 대한 폐쇄형 업데이트를 유도한다.
• PX-CAVI 알고리즘의 비교 평가를 위해 EM의 유사 알고리즘(PX-EM)을 도입한다.

실험 결과

연구 질문

• RQ1 스파크 및 슬래브 사전분포를 사용하는 베이지안 SPCA 방법은 희소성과 직교성을 동시에 확보하면서도 계산적으로 확장 가능한가?
• RQ2 PX-CAVI 알고리즘은 기존의 SPCA 방법들에 비해 추정 정확도와 변수 선택 성능 측면에서 어떻게 비교되는가?
• RQ3 이 베이지안 SPCA 프레임워크에서 변분 사후분포의 이론적 사후 수축률은 무엇인가?
• RQ4 매개수 확장의 포함이 직교성 제약 조건이 존재하는 상황에서 추론 효율성을 어떻게 향상시키는가?
• RQ5 제안된 방법은 고차원 유전자 발현 데이터에서 생물학적으로 관련된 유전자들을 효과적으로 식별할 수 있는가?

주요 결과

• PX-CAVI 알고리즘은 수치 시뮬레이션에서 두 가지 유명한 SPCA 방법보다 뚜렷이 뛰어난 추정 정확도와 변수 선택 성능을 보였다.
• 변분 사후분포의 사후 수축률이 확립되어, 이 방법의 일致성에 대한 이론적 근거를 제공한다.
• PX-CAVI 알고리즘은 $p \gg n$ 인 고차원 설정에서도 진짜 희소 성분을 더 잘 복원한다.
• 이 방법은 폐암 유전자 발현 데이터셋에서 생물학적으로 관련된 유전자 경로를 성공적으로 식별하여 실용적 유용성을 입증했다.
• R 패키지 VBsparsePCA가 CRAN에 배포되어, 방법의 재현 가능성과 접근성을 보장한다.
• PX-EM 알고리즘은 유효한 EM 기반 대안을 제공하며, PX-CAVI 프레임워크의 강건성을 확인한다.