[論文レビュー] Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation

Thomas Brouwer, Jes Frellsen+1 more|arXiv (Cornell University)|Oct 26, 2016

Sparse and Compressive Sensing Techniques参考文献 13被引用数 4

ひとこと要約

本稿では、非負値行列分解（NMF）および三因子分解（NMTF）のための高速な変分ベイズアルゴリズムを提案する。ギブスサンプリングや確率的でない手法よりも、事後分布をより効率的に近似するための決定的最適化を用いる。この手法は、NMTFにおいて最大4倍の高速化を達成し、追加のサンプルを必要とせず、過学習のリスクを低減する。

ABSTRACT

We present a fast variational Bayesian algorithm for performing non-negative matrix factorisation and tri-factorisation. We show that our approach achieves faster convergence per iteration and timestep (wall-clock) than Gibbs sampling and non-probabilistic approaches, and do not require additional samples to estimate the posterior. We show that in particular for matrix tri-factorisation convergence is difficult, but our variational Bayesian approach offers a fast solution, allowing the tri-factorisation approach to be used more effectively.

研究の動機と目的

• 非負値行列分解のためのMCMCベースのベイズ推論の代替として、より高速で決定的な手法を開発すること。
• 既存のサンプリング手法では特に困難である、行列三因子分解における収束の遅さという課題に対処すること。
• リーとセウンのアルゴリズムのような点推定手法と比較して、不確実性を捉え、過学習を低減できる完全なベイズ枠組みを提供すること。
• 計算効率の向上により、大規模データセットへのNMTFのスケーラブルな応用を可能にすること。
• 低データ量およびノイズの多い環境における手法のロバスト性を評価し、特に欠損値予測において有効性を検証すること。

提案手法

• 非負値因子行列の真の事後分布を近似するために、扱いやすい変分分布を用いた変分ベイズ推論を用いる。
• 非負性を強制するために、因子行列UおよびVに指数分布の事前分布を適用し、ノイズ精度τにはガンマ事前分布を用いる。
• 変分パラメータの閉形式更新式を、変分後と真の後との間のKullback-Leibler発散を最小化することで導出する。
• NMFおよびNMTFの両方の問題に同じ変分フレームワークを適用し、非負制約を含む三因子分解に拡張する。
• 変分下界（証拠下界、ELBO）を、変分パラメータに対する反復的座標上昇によって最適化する。
• MCMCのバーンインやスプライシングを回避し、直接的かつ決定論的に事後分布の近似に収束する。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズアプローチは、非負値行列分解においてギブスサンプリングよりも高速に収束することができるか？
• RQ2 行列三因子分解において、収束が困難であると知られている状況で、提案手法のウォールクロック時間と収束速度はどの程度か？
• RQ3 変分ベイズアプローチは、非確率的およびMAPベースの手法と比較して、欠損データおよびノイズに対して優れたロバスト性を示すか？
• RQ4 精度と不確実性の定量化を維持したまま、大規模データセットへのスケーラビリティを効果的に果たせるか？
• RQ5 実世界のデータにおいて、変分アプローチはギブスサンプリングおよび非確率的NMF/NMTFと比較して、予測精度で優れているか？

主な発見

• 三因子分解において、変分ベイズNMFおよびNMTF手法は、競合手法と比較して反復回数で7倍速く収束する。
• 提案手法は、行列三因子分解においてギブスサンプリングと比較して、ウォールクロック時間で4倍の高速化を達成する。
• 変分アプローチは、非確率的NMF手法と比較して、ウォールクロック時間で2倍速く収束する。
• ベイズモデル、特に提案された変分手法は、ノイズおよびスパarsityに対して優れたロバスト性を示し、高ノイズおよび欠損度の高い状況下でも、非確率的手法を上回る欠損値予測性能を発揮する。
• 追加のサンプルを必要とせず、MCMCと比較して計算オーバーヘッドを低減する決定論的事後分布近似を提供する。
• 81%のエントリが観測されたGDSC薬剤感受性データセットにおいても、高い予測精度を維持し、ノイズおよび欠損データの増加に対しても良好な性能を示す。