[論文レビュー] Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization

Yang Song, Jun Zhu|arXiv (Cornell University)|Dec 3, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、低ランク行列回復における直交制約の課題を回避するため、適応的で緩和されたスペクトル正則化に基づく、新たなベイジアン行列補完手法を提案する。核ノルムを緩和された制約を用いて再定式化し、特異値にスパarsity誘導型の事前分布を適用することで、パラメータチューニングを必要とせず完全なベイジアン推論を可能にし、特に極めてスパースな行列において、最先端の手法と比較して優れたランク回復性能と共同フィルタリング性能を達成する。

ABSTRACT

Bayesian matrix completion has been studied based on a low-rank matrix factorization formulation with promising results. However, little work has been done on Bayesian matrix completion based on the more direct spectral regularization formulation. We fill this gap by presenting a novel Bayesian matrix completion method based on spectral regularization. In order to circumvent the difficulties of dealing with the orthonormality constraints of singular vectors, we derive a new equivalent form with relaxed constraints, which then leads us to design an adaptive version of spectral regularization feasible for Bayesian inference. Our Bayesian method requires no parameter tuning and can infer the number of latent factors automatically. Experiments on synthetic and real datasets demonstrate encouraging results on rank recovery and collaborative filtering, with notably good results for very sparse matrices.

研究の動機と目的

• 直交制約の複雑さを避けるために、行列因子分解を必要としない直接的なスペクトル正則化に基づくベイジアン行列補完手法の不足を補う。
• スペクトル正則化における非共役事前分布の不確実性を解消するため、効率的なベイジアン推論を可能にする同等の緩和形式を導出する。
• 手動によるハイパーパrameterチューニングを排除するため、潜在的要因の数を自動的に推定し、各特異値ごとに正則化を適応的に調整する手法を開発する。
• 特異値にスパarsity誘導型の事前分布を適用することで、特に極めてスパースな状況下でも、低ランク行列補完の性能を向上させる。
• 合成データおよび実世界の共同フィルタリングタスクにおいて、従来の行列因子分解手法と比較して、スペクトル正則化がベイジアン行列補完において優位であることを実証する。

提案手法

• 特異ベクトルの直交制約を緩和することで、核ノルムの新たな同等形式を導出し、 tractable なベイジアン推論を可能にする。
• 特異値に半コーシー事前分布を導入した階層ベイジアンモデルを適用し、スパarsityを誘導するとともに、各潜在次元ごとの適応的正則化を実現する。
• ハイパーパrameter推定にモンテカルロEMを用いたギブスサンプラーを採用し、正則化パrameterの手動チューニングを回避する。
• 元のスティールマン多様体最適化を、サンプリングを簡素化しながらも元のスペクトル正則化と同等性を保つ緩和パrameter化に置き換える。
• 核ノルムの変分形式を用いて、緩和されたスペクトル形式と標準的な行列因子分解を結びつけ、効率的な事後分布計算を可能にする。
• 緩和された特異値分解（SVD）形式から導出された共役事前分布および条件付き分布を用い、正確なギブスサンプリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 行列因子分解を必要としない直接的なスペクトル正則化に基づくベイジアン行列補完フレームワークを構築することは可能か？
• RQ2 スペクトル正則化における直交制約をどのように緩和すれば、効率的なベイジアン推論が可能になるか？
• RQ3 特異値にスパarsity誘導型の事前分布を適用することで、極めてスパースな行列におけるより優れたランク回復と性能が達成可能か？
• RQ4 提案手法は、手動によるランクの切り捨てを必要とせず、潜在的要因の数を自動的に推定できるか？
• RQ5 提案手法は、共同フィルタリングタスクにおいて、最先端のベイジアンおよび非ベイジアン行列補完アルゴリズムと比較して、どのように性能を発揮するか？

主な発見

• 提案手法GASRは、共同フィルタリングタスクで最先端の性能を達成し、97.8％欠損のよりスパースなEachMovieデータセットではBPMFを上回り、MovieLens（95.8％欠損）では同等の性能を示した。
• MovieLensでは、予測値を整数に丸めた後、NMAEが0.1569 ± 0.0006、RMSEが0.8877を達成し、iPM3FやSoftImputeを顕著に上回った。
• EachMovieでは、NMAEが0.1877 ± 0.0003、RMSEが0.9211を達成し、極めてスパースな状況下でも頑健であることが示された。
• MovieLensおよびEachMovieの両方で、推定されたランクは平均で10であったのに対し、iPM3Fは高いランク（切り捨て時30、非切り捨て時最大450）を推定しており、GASRの優れたランク推定性能が裏付けられた。
• HASI、SoftImpute、SoftImpute-ALSといった非ベイジアン手法よりもGASRが優れた性能を示し、適応的事前分布を用いたベイジアン推論の利点を示した。
• 特に極めてスパースな状況下で顕著な性能向上が見られ、競合手法と比較してランク回復および予測精度の両面で優位性を示した。