[論文レビュー] A Model of Two Tales: Dual Transfer Learning Framework for Improved Long-tail Item Recommendation

Yin Zhang⋆, Derek Zhiyuan Cheng+4 more|arXiv (Cornell University)|Oct 29, 2020

Recommender Systems and Techniques参考文献 49被引用数 7

ひとこと要約

本稿では、モデルレベルのメタラーニングとアイテムレベルのカリキュラム学習を併用することで、長尾アイテムの推薦性能を向上させる二重の転移学習フレームワーク、MIRecを提案する。暗黙的なデータ拡張と意味的特徴の整合性を活用して、高フィードバックのヘッドアイテムから低フィードバックのテールアイテムへ知識を転送することで、MIRecはヒットレートとNDCGの両面でテールアイテムの性能を顕著に向上させるとともに、全体的およびヘッドアイテムの推薦性能の向上も達成する。

ABSTRACT

Highly skewed long-tail item distribution is very common in recommendation systems. It significantly hurts model performance on tail items. To improve tail-item recommendation, we conduct research to transfer knowledge from head items to tail items, leveraging the rich user feedback in head items and the semantic connections between head and tail items. Specifically, we propose a novel dual transfer learning framework that jointly learns the knowledge transfer from both model-level and item-level: 1. The model-level knowledge transfer builds a generic meta-mapping of model parameters from few-shot to many-shot model. It captures the implicit data augmentation on the model-level to improve the representation learning of tail items. 2. The item-level transfer connects head and tail items through item-level features, to ensure a smooth transfer of meta-mapping from head items to tail items. The two types of transfers are incorporated to ensure the learned knowledge from head items can be well applied for tail item representation learning in the long-tail distribution settings. Through extensive experiments on two benchmark datasets, results show that our proposed dual transfer learning framework significantly outperforms other state-of-the-art methods for tail item recommendation in hit ratio and NDCG. It is also very encouraging that our framework further improves head items and overall performance on top of the gains on tail items.

研究の動機と目的

• ユーザーのフィードバックが希少であることが原因で、長尾アイテムの推薦性能が低いという課題に対処すること。
• ヘッドアイテムとテールアイテムの分布に顕著な差がある長尾設定において、従来の転移学習の限界を克服すること。
• 豊富なフィードバックを持つヘッドアイテムから知識を転送することで、テールアイテムの表現学習を向上させること。
• テールアイテムのパフォーマンス向上が、全体的またはヘッドアイテムの推薦品質を損なわないように保証すること。
• モデルパラメータとアイテム特徴の両方をカバーするスムーズな知識転送を可能にする統合フレームワークの構築。

提案手法

• モデルレベルとアイテムレベルの知識転送を組み合わせた二重の転移学習フレームワーク、MIRecを提案する。
• 少数のサンプルから多数のサンプルへの学習スイッチングを想定し、メタラーニングを用いて汎用的なメタマッピング（モデルパラメータ変更の法則）を学習する。
• このメタマッピングを活用して、テールアイテムの訓練データを暗黙的に拡張し、その表現学習を強化する。
• ヘッドアイテムとテールアイテムを順次学習するカリキュラム学習（LTCur）を導入し、両者間に特徴ベースの接続を設ける。
• ジャンルやタイトルなどのアイテムレベル特徴を活用して、ヘッドアイテムとテールアイテムの間で意味的リンクを確立し、滑らかな転送を実現する。
• 共有されたメタラーニングとカリキュラムベースの訓練を備えた二塔型ニューラルネットワークアーキテクチャを採用し、ヘッドアイテムおよびテールアイテムの表現を最適化する。

実験結果

リサーチクエスチョン

• RQ1 高フィードバックのヘッドアイテムから低フィードバックのテールアイテムへ、メタラーニングが効果的に知識を転送できるか？
• RQ2 ヘッドアイテムとテールアイテムを交互に学習するカリキュラム学習は、テールアイテムの表現学習をどのように向上させるか？
• RQ3 モデルレベルとアイテムレベルの転送を統合することで、テールアイテムおよび全体の推薦性能が同時に向上するか？
• RQ4 提案されたフレームワークは、ヘッドアイテムや全体のモデルパフォーマンスを低下させることなく、テールアイテムの性能を向上させられるか？
• RQ5 学習された埋め込み表現は、テールアイテムの意味的クラスタリングの向上をどのように反映しているか？

主な発見

• MIRecは、MovieLens1MおよびAmazon-Booksの両データセットにおいて、SOTA手法を顕著に上回り、ヒットレートとNDCGの両面で優れた性能を示す。特に長尾アイテムにおいて顕著な向上が見られる。
• MovieLens1Mでは、MIRecは最も強力なベースラインと比較して、テールアイテムのヒットレートで12.3%、NDCGで14.1%の向上を達成した。
• カリキュラム学習戦略（LTCur）は、2段階の訓練プロセスにおいて、ヘッドアイテムおよびテールアイテムの両方の検証損失を低下させ、効果的な知識転送を示した。
• t-SNE可視化の結果、MIRecはベースラインの二塔型モデルと比較して、より一貫性がありジャンルに敏感な埋め込み表現を学習していることが明らかになった。
• 事例研究では、MIRecが、協調信号が極めて少ない状況下でも、意味的に類似したテールアイテム（例：人生の苦悩をテーマにした映画）を適切にクラスタリングしていることが確認された。
• このフレームワークは、テールアイテムの性能向上に伴い、全体的およびヘッドアイテムのパフォーマンスも向上させるという副次的効果を示しており、負のトレードオフがないことが裏付けられた。