[論文レビュー] A Graphical Model Formulation of Collaborative Filtering Neighbourhood Methods with Fast Maximum Entropy Training

Aaron Defazio, Tib rio S. Caetano|arXiv (Cornell University)|Jun 18, 2012

Recommender Systems and Techniques参考文献 18被引用数 11

ひとこと要約

本稿では、アイテム類似度を無向グラフ的モデルとしてモデル化する「アイテムフィールド」を導入する。これは、非局所的グラフ情報を利用した効率的な予測を可能にする。また、ベーゼ近似に基づく高速な最大エントロピー学習手法を提案し、Movielensデータセットにおいて最大尤度推定法と比較して2桁の高速化を達成しつつ、精度の損失を最小限に抑えた。

ABSTRACT

Item neighbourhood methods for collaborative filtering learn a weighted graph over the set of items, where each item is connected to those it is most similar to. The prediction of a user's rating on an item is then given by that rating of neighbouring items, weighted by their similarity. This paper presents a new neighbourhood approach which we call item fields, whereby an undirected graphical model is formed over the item graph. The resulting prediction rule is a simple generalization of the classical approaches, which takes into account non-local information in the graph, allowing its best results to be obtained when using drastically fewer edges than other neighbourhood approaches. A fast approximate maximum entropy training method based on the Bethe approximation is presented, which uses a simple gradient ascent procedure. When using precomputed sufficient statistics on the Movielens datasets, our method is faster than maximum likelihood approaches by two orders of magnitude.

研究の動機と目的

• 従来の近隣ベースの協調フィルタリング手法の非効率性、特に密なアイテム類似度グラフを必要とすることを解決すること。
• 局所的近隣情報だけでなく、アイテムグラフからの非局所的構造的情報を組み込むことで、予測精度を向上させること。
• 最大尤度推定の計算負荷を回避する、スケーラブルな近隣ベースの協調フィルタリングの学習手順を開発すること。
• 確率的グラフィカルモデルフレームワーク内でのベーゼ近似を用いて、高速かつ近似的な推論と学習を可能にすること。

提案手法

• アイテムベースの協調フィルタリングを、アイテムをノード、類似度をエッジとする無向グラフ的モデルとして定式化する。
• 予測ルールをグラフィカルモデル上の周辺分布として定義し、長距離依存性を含む古典的手法の一般化を実現する。
• アイテムレーティング上の最大エントロピー分布の扱いやすい近似を得るために、ベーゼ近似を用いる。
• 事前に計算された十分統計量を用いて勾配上昇法によるパラメータ学習手順を導出する。これにより高速な最適化が可能になる。
• 事前に計算されたアイテム類似度とレーティング統計量を活用し、学習を高速化。計算は数回の勾配上昇ステップに集約される。
• パラメータ推定におけるモデルの精度と計算効率のバランスを取るために、ベーゼ自由エネルギー近似を適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的グラフィカルモデルの定式化は、近隣ベースの協調フィルタリングの精度と効率性を向上させ得るか？
• RQ2 アイテム類似度グラフにおける非局所的構造的情報を組み込むと、予測性能にどのような影響を与えるか？
• RQ3 ベーゼ近似を用いることで、予測品質を損なわず、高速かつスケーラブルな協調フィルタリングモデルの学習が可能になるか？
• RQ4 最大尤度推定法と比較して、ベーゼ近似を用いた最大エントロピー学習にはどの程度の計算的利点があるか？
• RQ5 予測精度を維持または向上させつつ、アイテムグラフのエッジ数をどの程度まで削減できるか？

主な発見

• アイテムフィールドモデルは、標準的な近隣手法と比較して顕著に少ないエッジ数でMovielensデータセットで最先端の性能を達成し、スパarsity効率が向上した。
• 事前に計算された十分統計量を用いる場合、提案手法の最大エントロピー学習は最大尤度推定法と比較して2桁の高速化を達成した。
• スパースなアイテムグラフでも高い予測精度を維持しており、接続性の低下に対しても頑健であることが示された。
• グラフィカルモデルにおける非局所的情報の活用により、純粋な局所的近隣平均化と比較して、より優れた一般化性能を示した。
• ベーゼ近似に基づく勾配上昇法は、高速に収束し、大規模データセットに対しても良好にスケーリングした。
• 特にデータが少ない状況下でも、古典的手法よりも精度と学習速度の両面で優れた性能を発揮した。