[論文レビュー] Selective Transfer Learning for Cross Domain Recommendation

Zhongqi Lu, Erheng Zhong+4 more|arXiv (Cornell University)|Oct 26, 2012

Recommender Systems and Techniques被引用数 6

ひとこと要約

本稿では、スパースな協調フィルタリング環境において、一貫性のある知識のみを特定・転送することでレーティング予測精度を向上させる、選択的転移学習フレームワークSTLCFを提案する。勾配ブースティングフレームワーク内で予測誤差とその分散を組み合わせることでインスタンス選択をガイドすることで、過学習を低減し、特に極端なデータスパarsity下でも最先端手法を上回る性能を発揮する。

ABSTRACT

Collaborative filtering (CF) aims to predict users' ratings on items according to historical user-item preference data. In many real-world applications, preference data are usually sparse, which would make models overfit and fail to give accurate predictions. Recently, several research works show that by transferring knowledge from some manually selected source domains, the data sparseness problem could be mitigated. However for most cases, parts of source domain data are not consistent with the observations in the target domain, which may misguide the target domain model building. In this paper, we propose a novel criterion based on empirical prediction error and its variance to better capture the consistency across domains in CF settings. Consequently, we embed this criterion into a boosting framework to perform selective knowledge transfer. Comparing to several state-of-the-art methods, we show that our proposed selective transfer learning framework can significantly improve the accuracy of rating prediction tasks on several real-world recommendation tasks.

研究の動機と目的

• 関連するソースドメインからの知識を活用することで、協調フィルタリングにおけるデータスパarsityの課題に対処すること。
• 既存の転移学習手法がすべてのソースデータがターゲットドメインと一貫していると仮定しているという制限を克服すること。
• 経験的誤差のみを越えて、ソースドメインとターゲットドメインの整合性を測る基準を構築すること。
• 信頼できるソースインスタンスのみを適応的に重み付け・選択する、選択的転移学習フレームワークを設計すること。
• 分散に配慮したインスタンス選択を通じて、ロングテイルユーザーおよびスパースなターゲットドメインにおけるモデルの頑健性と性能を向上させること。

提案手法

• 経験的予測誤差とその分散の両方を基にした、新たな整合性基準を提案し、転送に適したソースドメインデータの信頼性を評価する。
• 整合性基準をブースティングフレームワークに統合し、誤差と分散に基づいて反復的にソースインスタンスの重みを再調整する。
• STLCFフレームワーク内でのベースモデルとして、スパースなユーザ-アイテム相互作用に対応するためのガウス過程潜在意味解析（GPLSA）を採用する。
• ブースティング処理において反復的な重み再割り当てを実施し、誤差が低く分散が小さいインスタンス（＝安定的かつ一貫性のある好み）を優先する。
• 誤差と分散の両方に配慮した選択的知識転送を実現し、誤った知識を伝える可能性のある不整合またはノイズの多いソースデータをフィルタリングする。
• さまざまなベースモデルに一般化可能であることを示し、GPLSAおよびTGPLSAを含む複数のモデルで有効性を確認する。

実験結果

リサーチクエスチョン

• RQ1 どのソースドメインインスタンスがターゲットドメインと一貫しているかを効果的に特定することで、誤った知識の転送を回避できるか？
• RQ2 経験的誤差の分散を組み込むことで、協調フィルタリングにおける知識転送の信頼性がどの程度向上するか？
• RQ3 分散に配慮したインスタンス選択を組み込んだブースティングベースのフレームワークは、スパースな推薦環境において非選択的転移学習を上回るか？
• RQ4 本手法は、特にデータスパarsityに弱いロングテイルユーザーに対してどの程度の性能を示すか？
• RQ5 ターゲットドメインのデータ密度が極めて低い場合、過学習に対して本フレームワークはどの程度頑健性を示すか？

主な発見

• STLCFは、複数の実世界データセットにおいて、最先端手法を上回る顕著なレーティング予測精度の向上を達成した。
• STLCFのテストRMSEは、潜在トピック数kが125に達するまで減少を続けるが、GPLSAとTGPLSAはそれぞれk=50およびk=75を超えると過学習を示し、RMSEが上昇し始めた。
• STLCFは極めてスパースなターゲットドメイン（例：0.3％のスパarsity）においても、過学習に対して優れた頑健性を示し、低一般化誤差を維持した。
• 整合性基準に分散を組み込むことで、特に複数ドメインにわたる一貫性のある好みを示すユーザーに対して、信頼できるソースインスタンスの特定がより正確に行えるようになった。
• STLCFはロングテイルユーザーにおいて特に優れた性能を発揮し、非選択的転移手法でしばしば不十分に扱われるユーザー層を効果的にカバーした。
• フレームワークは一般化性に優れており、GPLSAやTGPLSAを含む多様なベースモデルと組み合わせて使用可能であり、一貫して性能向上を示した。