[論文レビュー] Zero-Truncated Poisson Tensor Factorization for Massive Binary Tensors

Changwei Hu, Piyush Rai+1 more|arXiv (Cornell University)|Aug 18, 2015

Tensor decomposition and applications参考文献 23被引用数 22

ひとこと要約

本稿では、巨大でスパースなバイナリテンソルに対してスケーラブルなベイジアンゼロ切断ポアソンテンソル因子分解モデルを提案する。観測された1の値にのみ依存する尤度関数を用いることで、非ゼロエントリ数に対して線形スケーラビリティを達成する。この手法はバッチおよびオンラインMCMC推論をサポートし、モードネットワークを介して補助情報を統合する。実世界のデータにおいて、論理的尤度モデルと比較して最大10倍の高速化を達成しながら、精度を維持または向上させる。

ABSTRACT

We present a scalable Bayesian model for low-rank factorization of massive tensors with binary observations. The proposed model has the following key properties: (1) in contrast to the models based on the logistic or probit likelihood, using a zero-truncated Poisson likelihood for binary data allows our model to scale up in the number of \emph{ones} in the tensor, which is especially appealing for massive but sparse binary tensors; (2) side-information in form of binary pairwise relationships (e.g., an adjacency network) between objects in any tensor mode can also be leveraged, which can be especially useful in "cold-start" settings; and (3) the model admits simple Bayesian inference via batch, as well as \emph{online} MCMC; the latter allows scaling up even for \emph{dense} binary data (i.e., when the number of ones in the tensor/network is also massive). In addition, non-negative factor matrices in our model provide easy interpretability, and the tensor rank can be inferred from the data. We evaluate our model on several large-scale real-world binary tensors, achieving excellent computational scalability, and also demonstrate its usefulness in leveraging side-information provided in form of mode-network(s).

研究の動機と目的

• 全テンソルボリューム（ゼロを含む）に比例してスケーリングする既存のバイナリテンソル因子分解モデルの計算非効率性を是正すること。特に巨大でスパースなバイナリデータにおいて顕著である。
• テンソル内の1の数に対して線形にスケーリングするモデルの開発。これにより、ゼロエントリのコストのかかる評価を回避する。
• バイナリペアワイズ関係（例：共同執筆や友人関係ネットワーク）としての補助情報を統合することで、コールドスタート状況での効果的推論を可能にすること。
• ベイジアン非パラメトリック事前分布を用いた自動ランク選択を通じて、解釈可能な非負の因子行列を提供すること。

提案手法

• 各バイナリ観測値に対してゼロ切断ポアソン尤度関数を用い、ゼロエントリでの尤度評価が不要になるようにすることで、1の数に対して線形時間計算量を実現する。
• 因子行列の各列にディリクレ事前分布を適用し、非負性を強制するとともに解釈可能性を向上させ、テンソルランクはデータから推定する。
• バッチおよびオンラインMCMC推論をサポートし、後者はミニバッチ更新を用いることで、密度の高いバイナリデータへのスケーラビリティを実現する。
• モードネットワーク（例：著者間共同執筆）を追加のバイナリ観測として、同じゼロ切断ポアソン尤度関数でモデル化する。
• コアネル・ポリアドミック（CP）テンソル分解フレームワークを適用し、学習された因子行列を用いてテンソルをランク1成分の和として表現する。
• 共役事前分布を用いた階層ベイジアンモデルを採用し、効率的な事後分布計算と自動ランク推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 巨大でスパースなバイナリテンソルにおいて、非ゼロエントリ数に対して線形スケーラビリティを達成できるベイジアンテンソル因子分解モデルは構築可能か？
• RQ2 ゼロ切断ポアソン尤度関数は、論理的または probit 尤度関数と比較して、計算効率性および予測精度の両面で優れているか？
• RQ3 部分的に観測されたバイナリネットワーク（例：共同執筆）としての補助情報は、コールドスタート設定における性能向上にどの程度寄与するか？
• RQ4 オンラインMCMC推論は、1の数も大きい密度の高いバイナリテンソルに対しても、効果的にスケーリング可能か？

主な発見

• 提案モデルは、実世界のバイナリテンソルにおいて、論理的尤度ベースのモデルと比較して最大10倍の高速化を達成し、同等またはより高い予測性能を示した。
• コールドスタート状況では、モードネットワーク（例：Facebookの共同執筆）を統合することで、FacebookデータのAUC-ROCが0.8897から0.9075に、ScholarsデータのAUC-ROCが0.8051から0.8124に向上した。
• FacebookデータのAUC-PRは0.6076から0.7255に、ScholarsデータのAUC-PRは0.5763から0.6450に向上し、ネットワーク統合による精度・再現率性能の向上を示した。
• 潜在的要因分析により、進化生物学、医用画像、機械学習／信号処理、腫瘍学といった解釈可能なトピックが特定され、関連語と会議の割り当てが一貫していた。
• コールドスタート状況では、ネットワーク補助情報付きのモデルが、保持された著者をトピック関連の研究部門に正しく割り当てたが、ネットワーク情報なしのベースラインでは正しく割り当てられなかった。
• モデルはデータからテンソルランクを効果的に推定し、ディリクレ事前分布を用いて非負で解釈可能な因子行列を生成した。