[論文レビュー] Efficient Multicore Collaborative Filtering

Yao Wu, Qiang Yan+3 more|arXiv (Cornell University)|Aug 12, 2011

Recommender Systems and Techniques参考文献 14被引用数 11

ひとこと要約

この論文は、大規模なKDD CUP 2011データセット上で複数のアルゴリズムを効率的に学習およびチューニングできる、GraphLabを用いたマルチコア並列協調フィルタリングフレームワークを提示する。階層的アイテム構造を活用して予測精度を向上させる、アイテム税理正則化付き行列分解（MFITR）を導入し、バリデーションセットにおける最終ブレンドRMSEが19.90でコンペティションで5位を達成した。

ABSTRACT

This paper describes the solution method taken by LeBuSiShu team for track1 in ACM KDD CUP 2011 contest (resulting in the 5th place). We identified two main challenges: the unique item taxonomy characteristics as well as the large data set size.To handle the item taxonomy, we present a novel method called Matrix Factorization Item Taxonomy Regularization (MFITR). MFITR obtained the 2nd best prediction result out of more then ten implemented algorithms. For rapidly computing multiple solutions of various algorithms, we have implemented an open source parallel collaborative filtering library on top of the GraphLab machine learning framework. We report some preliminary performance results obtained using the BlackLight supercomputer.

研究の動機と目的

• Yahoo! Musicデータセット（26000万件以上のレーティングを含む）のような大規模データセットに協調フィルタリングをスケーリングする計算上の課題に対処すること。
• ジャンル、アーティスト、アルバムなどの階層的アイテムメタデータを協調フィルタリングモデルに統合し、予測精度を向上させること。
• 複数の協調フィルタリングアルゴリズムの高性能かつ並列実装を開発し、迅速なハイパーパramータチューニングとモデルブレンドを可能にすること。
• アルゴリズム的イノベーションと効率的な並列化を通じて、KDD CUP 2011トラック1コンペティションで上位のパフォーマンスを達成すること。

提案手法

• マルチコアシステムにスケーリング可能な、GraphLabフレームワーク上に並列協調フィルタリングライブラリを実装し、高速な学習とハイパーパramータチューニングを可能にした。
• 標準的な行列分解を拡張し、分類構造に基づく潜在要因の偏差をペナルティ化する正則化項を導入した、アイテム税理正則化付き行列分解（MFITR）を提案した。
• ALS、SGD、SVD++、およびネイバーヒューリスティックモデルなどの既存アルゴリズムを、時間的ダイナミクスをモデル化できる時間対応変種（例：time-SGD、time-SVD++）に変換した。
• MFITRやtime-MFITRを含む12個のアルゴリズムのアンサンブルブレンドを用い、一般化性能と予測性能の向上を図った。
• GraphLabの抽象化を用いた分散的で反復的な最適化戦略を採用し、スケーラブルな行列およびテンソル分解を実現した。データパーティショニングによる効率的なメモリ管理も実施した。
• SGDおよびSVD++において、特徴量ごとの正則化と学習率の減少を適用し、大規模かつスパースなデータセットにおける学習の安定性と収束性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてアイテム税理情報が行列分解モデルに効果的に統合され、レーティング予測精度が向上するか？
• RQ2 大規模データセットにおいて、時間的要因（レーティングの日時など）を協調フィルタリングアルゴリズムに組み込むことで、どの程度のパフォーマンス向上が達成できるか？
• RQ3 複数の協調フィルタリングアルゴリズムを並列でどれほど効率的に学習およびチューニングできるか？これにより、迅速な実験とモデルブレンドが可能になるか？
• RQ4 共有メモリ型マルチコアシステム上で実行された場合、SGD、ALS、BPTFなどの異なる協調フィルタリングアルゴリズムのスケーラビリティとスルーブプ行動はどのようになるか？
• RQ5 多様な協調フィルタリングアルゴリズムのハイブリッドアンサンブルは、KDD CUP 2011のような実世界の推薦チャレンジで個々のモデルを上回るパフォーマンスを発揮できるか？

主な発見

• 提案されたMFITRアルゴリズムは、テストされた10個以上のアルゴリズムの中で2番目に高い個別予測結果を達成し、100個の潜在要因を使用した場合のバリデーションセットにおけるRMSEは21.30であった。
• 時間対応変種のMFITR（time-MFITR）はRMSEが21.10に達し、モデルに時間的ダイナミクスを組み込む有効性を示した。
• MFITRおよびtime-MFITRを含む12個のアルゴリズムのアンサンブルは、最良の全体的パフォーマンスを達成し、最終的なバリデーションRMSEは19.90にまで低下し、KDD CUP 2011コンペティションで5位を獲得した。
• GraphLabベースの並列実装は、最大16コアまででほぼ線形のスルーブプを達成し、SGDおよびSVD++は1イテレーションあたりの実行速度が最も速かった。
• 実装は高い数値的安定性を示し、実行間での結果のばらつきは直列ベースラインの0.1%未満にとどまり、再現性と正しさが確認された。
• SGDおよびSVD++のパフォーマンスは、潜在特徴数の増加に伴いほぼ線形にスケーリングしたが、ALS、wALS、BPTFは更新ルールに行列逆行列演算を含むため、スケーリング特性がやや劣っていた。