[論文レビュー] Group-sparse Embeddings in Collective Matrix Factorization

Arto Klami, Guillaume Bouchard+1 more|Työväentutkimus Vuosikirja|Dec 20, 2013

Recommender Systems and Techniques参考文献 23被引用数 27

ひとこと要約

本稿では、グループ単位のスパarsityを用いた自動関連性決定（ARD）により、複数の行列から成るマルチ行列システムにおいて、各行列が他の行列とは独立した固有の低ランク要因を持つことを可能にするベイジアン手法、グループスパース集合的行列分解（gCMF）を提案する。この手法は、調整なしに共有要因と私的要因を自動的に同定し、レコメンデーションシステムおよびマルチビュー学習において標準的なCMFを上回る性能を発揮する。また、混合データ型および欠損データの処理を効率的に行える。

ABSTRACT

CMF is a technique for simultaneously learning low-rank representations based on a collection of matrices with shared entities. A typical example is the joint modeling of user-item, item-property, and user-feature matrices in a recommender system. The key idea in CMF is that the embeddings are shared across the matrices, which enables transferring information between them. The existing solutions, however, break down when the individual matrices have low-rank structure not shared with others. In this work we present a novel CMF solution that allows each of the matrices to have a separate low-rank structure that is independent of the other matrices, as well as structures that are shared only by a subset of them. We compare MAP and variational Bayesian solutions based on alternating optimization algorithms and show that the model automatically infers the nature of each factor using group-wise sparsity. Our approach supports in a principled way continuous, binary and count observations and is efficient for sparse matrices involving missing data. We illustrate the solution on a number of examples, focusing in particular on an interesting use-case of augmented multi-view learning.

研究の動機と目的

• 既存の集合的行列分解（CMF）手法がすべての要因がすべての行列に共有されていると仮定しているという制限に対処すること。
• 特に、ビュー固有のノイズや私的要因がある状況において、各行列が他のものと共有されない独立した低ランク構造を持つことを可能にすること。
• グループ単位のスパarsityを用いて、各要因が共有か私的かを自動的に推定する、原理的でベイジアンな解決策を開発すること。
• 連続値、バイナリ値、カウントの3種類のデータタイプを統合されたフレームワーク内で扱えるようにすること。
• スパース正則化による構造的事前分布の組み込みを通じて、マルチビュー学習およびレコメンデーションシステムにおける性能を向上させること。

提案手法

• 複数の入力行列から構成される大きな正方行列の対称的因子分解を提案し、共有および私的要因の共同学習を可能にする。
• 各エンティティタイプごとの要因活動を制御するため、自動関連性決定（ARD）を用いたグループ単位のスパarsity正則化を実装する。
• 要因およびハイパーパrameterの事後分布を推定するため、交互最適化を用いた変分ベイズ推論フレームワークを採用する。
• 連続値、バイナリ値、カウント観測の柔軟なモデリングを可能にするために、ガウス、ベルヌーイ、ポアソンの複数の尤度モデルをサポートする。
• モデルに明示的なバイアス項を導入し、レコメンデーションシステムにおけるコールドスタート問題の性能向上を図る。
• 比較のための凸緩和を採用し、従来の凸形式で必要なハイパーパrameterのバリデーションを回避する変分ベイズ解が、パラメータチューニングを不要としていることを示す。

実験結果

リサーチクエスチョン

• RQ1 集合的行列分解モデルは、手動のチューニングを必要とせずに、すべての行列にわたって共有される要因と部分集合に固有の私的要因を自動的に同定できるか？
• RQ2 個々の行列が異なる低ランク構造を持つ場合、ARDによるグループ単位のスパarsityが要因分解の性能をどのように向上させるか？
• RQ3 バイアス項の導入が、特にレコメンデーションシステムのコールドスタート状況における性能をどの程度向上させるか？
• RQ4 提案されたモデルは、統合されたフレームワーク内で連続値、バイナリ値、カウントの混合データ型を効果的に処理できるか？
• RQ5 追加の関係（例：遺伝子の近接性）が第3の行列として組み込まれた場合、マルチビュー学習タスクにおけるモデルの性能はどのようになるか？

主な発見

• gCMFモデルは、バイアス項を含む場合、MovieLensおよびFlickrレコメンデーションシステムベンチマークにおいて標準的なCMFを上回り、正則化パラメータのチューニングを必要とせずに低いRMSEを達成する。
• gCMFは凸CMF（CCMF）と同等の性能を発揮するが、ハイパーパrameterの妥当性検証が不要であるため、計算コストを低減し、使いやすさを向上させる。
• マルチビュー画像再構成において、近接性に基づく補完を用いることで、gCMFアプローチは予測誤差を顕著に低減し、中程度の近傍幅で最適な性能を発揮する。
• バイアス項の導入により、特にMovieLensにおいてコールドスタート性能が向上し、バイアスなしのCMFのRMSE 1.0569から、バイアスありのCMFでは0.9475に低下する。gCMFは同様の性能を再現する。
• 補完行列がほぼすべて1またはすべて0になる極端な状況下でも、gCMFは古典的なマルチビュー学習に回帰し、安定性と一貫性を確認する。
• gCMFは、すべてのデータセットおよび設定において、CMFを常に上回るか同等の性能を発揮し、私的要因の許容が性能を劣化させず、むしろ向上させることが示された。