[논문 리뷰] Efficient Bayesian reduced rank regression using Langevin Monte Carlo approach

Tien Mai|arXiv (Cornell University)|2021. 02. 15.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 랭크를 사전에 지정하지 않고 저랭크 구조를 유도하기 위해 스펙트럼 스케일링된 스튜던트 prior를 사용하는 베이지안 감소 랭크 회귀(BRRR)를 위한 새로운 랭글레빈 몬테카를로(LMC) 방법을 제안한다. 이 방법은 비용이 많이 드는 행렬 역행렬과 SVD 계산을 피하여 고차원 설정에서 게비스 샘플링보다 더 빠른 샘플링을 가능하게 하며, 교차검증을 통한 빈도주의 방법과 비교해 유사한 예측 성능을 달성한다.

ABSTRACT

The problem of Bayesian reduced rank regression is considered in this paper. We propose, for the first time, to use Langevin Monte Carlo method in this problem. A spectral scaled Student prior distrbution is used to exploit the underlying low-rank structure of the coefficient matrix. We show that our algorithms are significantly faster than the Gibbs sampler in high-dimensional setting. Simulation results show that our proposed algorithms for Bayesian reduced rank regression are comparable to the state-of-the-art method where the rank is chosen by cross validation.

연구 동기 및 목표

• 고차원 베이지안 감소 랭크 회귀(BRRR)에서 반복적인 행렬 역행렬과 SVD 계산을 수반하는 게비스 샘플링의 계산 비효율성을 해결하기 위해.
• 저랭크 행렬 분해를 피하고 랭크를 사전에 지정하지 않으면서도 확장 가능한 베이지안 추론 방법을 개발하기 위해.
• 계수 행렬의 저랭크 구조를 자연스럽게 유도하기 위해 스펙트럼 스케일링된 스튜던트 prior를 활용하기 위해.
• 랭글레빈 몬테카를로(LMC) 및 메트로폴리스 조정 LMC(MALA)가 게비스 샘플링보다 빠르면서도 예측 정확도를 유지함을 보여주기 위해.

제안 방법

• 계수 행렬 B에 대해 스펙트럼 스케일링된 스튜던트 prior를 제안하며, π(B) ∝ det(λ²Iₚ + BBᵀ)⁻⁽ᵖ⁺ᵐ⁺²⁾ᐟ²로 정의되며, 이는 랭크를 사전 지정하지 않고도 저랭크 구조를 유도한다.
• BRRR에서 사후 분포 샘플링을 위한 비조정된 랭글레빈 몬테카를로(LMC) 알고리즘을 개발하며, 행렬 역행렬 없이 사후 분포의 로그 미분을 사용한다.
• 자세한 균형을 유지하기 위해 MALA에서 메트로폴리스-해스팅스 보정을 구현한다.
• 로버츠와 로젠탈(Roberts and Rosenthal, 1998)의 기법을 따르며, 약 50%의 수용률을 달성하기 위해 단계 크기 h를 선택하여 탐색과 안정성의 균형을 이룬다.
• 행렬 역행렬과 SVD 계산을 피하기 위해 기울기 기반 업데이트에 의존함으로써 대규모 데이터셋에 대한 확장성을 확보한다.
• 가능성 함수에서 고정된 σ²를 사용하며, B에 대한 사후 추정은 LMC와 MALA를 통해 수행하고, σ²는 알려진 것으로 간주한다.

실험 결과

연구 질문

• RQ1 비인자화된 prior를 가진 베이지안 감소 랭크 회귀에 대해 랭글레빈 몬테카를로 샘플링을 효과적으로 적용할 수 있는가?
• RQ2 제안된 LMC/MALA 접근법이 고차원 BRRR 설정에서 게비스 샘플링보다 더 빠른 수렴을 달성하는가?
• RQ3 스펙트럼 스케일링된 스튜던트 prior는 랭크를 사전 지정하지 않고 저랭크 구조를 어떻게 유도하는가? 기존의 저랭크 인자 분해 prior와 비교해 보다 효과적인가?
• RQ4 LMC 기반 추론은 교차검증을 통한 빈도주의 RRR 방법의 예측 성능을 따라할 수 있는가?
• RQ5 단계 크기 선택이 BRRR에서 LMC와 MALA의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 LMC 및 MALA 알고리즘은 고차원 설정에서 게비스 샘플링보다 유의미하게 빠르며, p 증가에 따라 실행 시간이 더 유리하게 스케일링된다.
• 실제 데이터에서 MALA는 LMC보다 예측 정확도와 안정성 면에서 뛰어나 평균 제곱예측오차를 낮추었다.
• 유방암 데이터셋에서 MALA는 평균 제곱예측오차 0.049 (±0.008)를 기록했으며, LMC(0.052 ± 0.009)를 뛰어넘고 교차검증 RRR 방법(0.030 ± 0.008)에 가까워졌다.
• MALA를 통한 추정 랭크는 1.03 (±0.17)이었으며, 진짜 기저 랭크에 가깝게 나타나 랭크 추정이 효과적임을 보였다.
• LMC 및 MALA 방법은 교차검증을 통한 빈도주의 RRR 방법과 유사한 예측 성능을 달성했다.
• 스펙트럼 스케일링된 스튜던트 prior는 랭크를 사전 지정하지 않고도 저랭크 구조를 효과적으로 유도하여 민첩하고 효율적인 베이지안 추론을 가능하게 했다.