[論文レビュー] Efficient Bayesian reduced rank regression using Langevin Monte Carlo approach

Tien Mai|arXiv (Cornell University)|Feb 15, 2021

Sparse and Compressive Sensing Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、事前にランクを指定せずに低ランク構造を誘導するスペクトルスケーリング・スチューデント事前分布を用いた、ベイジアン低ランク回帰（BRRR）のための新しいランジュヴィアン・モンテカルロ（LMC）手法を提案する。この手法は、高価な行列逆行列計算やSVDを回避し、予測性能が交差検証を用いた頻度主義的手法と同等である一方で、高次元設定下でもギブスサンプリングよりも高速なサンプリングを実現する。

ABSTRACT

The problem of Bayesian reduced rank regression is considered in this paper. We propose, for the first time, to use Langevin Monte Carlo method in this problem. A spectral scaled Student prior distrbution is used to exploit the underlying low-rank structure of the coefficient matrix. We show that our algorithms are significantly faster than the Gibbs sampler in high-dimensional setting. Simulation results show that our proposed algorithms for Bayesian reduced rank regression are comparable to the state-of-the-art method where the rank is chosen by cross validation.

研究の動機と目的

• 高次元ベイジアン低ランク回帰（BRRR）におけるギブスサンプリングの計算非効率性、特に繰り返し発生する行列逆行列計算やSVDを解消すること。
• 低ランク行列因子分解を回避し、ランクを事前に指定しないスケーラブルなベイジアン推論手法の開発。
• スペクトルスケーリング・スチューデント事前分布を活用し、係数行列に自然な形で低ランク構造を促進すること。
• ランジュヴィアン・モンテカルロ（LMC）およびメトロポリス補正付きLMC（MALA）が、ギブスサンプリングよりも高速でありながら予測精度を維持することを示すこと。

提案手法

• 係数行列Bにスペクトルスケーリング・スチューデント事前分布を導入し、π(B) ∝ det(λ²Iₚ + BBᵀ)⁻⁽ᵖ⁺ᵐ⁺²⁾ᐟ² として定義。これにより、ランクの事前指定なしに低ランク構造を促進する。
• 後部確率分布のサンプリングに、行列逆行列を必要としない勾配ベースの未調整ランジュヴィアン・モンテカルロ（LMC）アルゴリズムを提案。
• 詳細なバランスを保つために、MALAにおいてメトロポリス・ハスティングス補正を導入し、サンプリングの正確性を向上。
• ロバーツとロゼンタール（1998）に従い、約50％の受容率を得るようステップサイズhを選択し、探索性と安定性のバランスを取る。
• 勾配に基づく更新に依存することで、明示的な行列逆行列計算やSVD計算を回避し、大規模データセットへのスケーラビリティを実現。
• 尤度関数におけるσ²を固定し、Bの後部確率推定をLMCおよびMALAで行う一方、σ²は既知とみなす。

実験結果

リサーチクエスチョン

• RQ1 非因子化事前分布を用いたベイジアン低ランク回帰に、ランジュヴィアン・モンテカルロ（LMC）サンプリングを効果的に適用可能か？
• RQ2 提案手法であるLMC/MALAは、高次元BRRR設定においてギブスサンプリングよりも高速に収束するか？
• RQ3 スペクトルスケーリング・スチューデント事前分布は、ランクを事前に指定しない条件下で、従来の低ランク因子分解事前分布と比較してどのように低ランク構造を促進するか？
• RQ4 LMCに基づく推論は、交差検証を用いた頻度主義的RRR手法と同等の予測性能を達成できるか？
• RQ5 ステップサイズの選択が、BRRRにおけるLMCおよびMALAの収束性と精度に与える影響は何か？

主な発見

• 提案されたLMCおよびMALAアルゴリズムは、高次元設定下でギブスサンプリングよりも顕著に高速であり、pの増加に伴う実行時間の増加がより良好にスケーリングされる。
• MALAは予測精度および安定性においてLMCを上回り、実データ上での平均二乗予測誤差が低かった。
• 乳癌データセットでは、MALAが平均二乗予測誤差0.049（±0.008）を達成し、LMC（0.052 ± 0.009）を上回り、交差検証を用いたRRR手法（0.030 ± 0.008）に近い性能を示した。
• MALAによる推定ランクは1.03（±0.17）であり、真の潜在的ランクに近く、効果的なランク推定が可能であった。
• LMCおよびMALA手法は、交差検証を用いた最良の頻度主義的RRR手法と同等の予測性能を達成した。
• スペクトルスケーリング・スチューデント事前分布は、ランクの事前指定なしに低ランク構造を効果的に誘導し、柔軟かつ効率的なベイジアン推論を可能にした。