[論文レビュー] Kernelized Bayesian Matrix Factorization

Mehmet Gönen, Suleiman A. Khan+1 more|arXiv (Cornell University)|Nov 6, 2012

Text and Document Classification Technologies参考文献 25被引用数 12

ひとこと要約

本論文は、複数のカーネル学習を用いて複数のサイド情報ソースを統合する完全ベイジアン化されたカーネル化行列分解手法を提案しており、効率的な変分推論と行列外予測を可能にしている。この手法は、ドラッグ-タンパク質相互作用予測およびマルチラベル分類において最先端の性能を達成し、14個のベンチマークデータセットのうち10個で5つのベースラインを上回り、ハミング損失が低くなる。

ABSTRACT

We extend kernelized matrix factorization with a fully Bayesian treatment and with an ability to work with multiple side information sources expressed as different kernels. Kernel functions have been introduced to matrix factorization to integrate side information about the rows and columns (e.g., objects and users in recommender systems), which is necessary for making out-of-matrix (i.e., cold start) predictions. We discuss specifically bipartite graph inference, where the output matrix is binary, but extensions to more general matrices are straightforward. We extend the state of the art in two key aspects: (i) A fully conjugate probabilistic formulation of the kernelized matrix factorization problem enables an efficient variational approximation, whereas fully Bayesian treatments are not computationally feasible in the earlier approaches. (ii) Multiple side information sources are included, treated as different kernels in multiple kernel learning that additionally reveals which side information sources are informative. Our method outperforms alternatives in predicting drug-protein interactions on two data sets. We then show that our framework can also be used for solving multilabel learning problems by considering samples and labels as the two domains where matrix factorization operates on. Our algorithm obtains the lowest Hamming loss values on 10 out of 14 multilabel classification data sets compared to five state-of-the-art multilabel learning algorithms.

研究の動機と目的

• 完全ベイジアン化されたカーネル化行列因子分解の手法を開発し、効率的な推論と行列外予測を可能にする。
• 複数のカーネル学習を用いて、行と列の両ドメインにおける複数のサイド情報ソースを統合する。
• ドーパー-タンパク質相互作用ネットワークなどの二部グラフ推論タスクにおいて、効果的な予測を可能にする。
• サンプルとラベルを行列因子分解における二つのドメインとして扱うことで、マルチラベル学習にフレームワークを拡張する。
• 生物学的相互作用予測およびマルチラベル分類の両分野において、既存の最先端手法を上回る性能を達成する。

提案手法

• 完全共役な確率的モデルを提案し、カーネル化行列因子分解に適用することで、効率的な変分推論を可能にする。
• 複数のカーネル学習を用いて、行と列のそれぞれに対して別々のカーネル関数に多様なサイド情報ソースを統合する。
• スケーラブルなベイジアン推論を実現するための変分近似スキームを適用し、従来のMAPベースのアプローチに比べて計算制限を克服する。
• サイド情報から導出されるカーネル関数を用いて、潜在的成分にガウス過程の事前分布を適用する。例えば、ラベル類似度にはジャカード係数を用いる。
• サンプルとラベルのカーネル行列を統合することで、マルチラベル設定における非線形関係および相関のモデリングを可能にする。
• 交差検証を用いてトレーニング性能に基づき、潜在的成分の数Rを決定する。最大で15成分までを想定する。

実験結果

リサーチクエスチョン

• RQ1 共役事前分布と変分近似を用いることで、完全ベイジアン化されたカーネル化行列因子分解を計算的に実行可能にすることができるか？
• RQ2 複数のカーネル学習を用いて、複数のサイド情報ソースを効果的に行列因子分解に統合し、予測性能を向上させることができるか？
• RQ3 提案手法は、以前に観測されていなかった行または列に対しても正確な行列外予測を可能にするか？
• RQ4 サンプルとラベルを行列因子分解における二つのドメインとして扱うことで、マルチラベル分類にフレームワークを一般化できるか？
• RQ5 生物学的相互作用予測およびマルチラベル分類の両分野において、既存のアルゴリズムと比較して最先端の性能を達成できるか？

主な発見

• 提案手法であるKBMFは、14個のマルチラベル分類データセットのうち10個で最も低いハミング損失を達成し、5つの最先端アルゴリズムを上回った。
• 2つのドラッグ-タンパク質相互作用データセットにおいて、KBMFは未知の相互作用を予測する際に、他の手法を顕著に上回った。
• 変分推論スキームにより、完全ベイジアン処理が実現可能となり、全ベイジアン推論の計算複雑性が高いため、Zhouら（2012）のMAPベースの手法よりも高速であった。
• 複数のカーネル学習により、情報量の多いサイド情報ソースが特定され、カーネル重みが異なるデータタイプの関連性を示した。
• 未観測の対象物に対して、サイド情報からのカーネルベースの類似度を活用することで、コールドスタート予測を効果的に処理できた。
• フレームワークはマルチラベル学習に効果的に一般化され、ラベル間の類似度に基づくカーネルにより、相関のあるラベル集合の性能が向上した。