[論文レビュー] Rank and Rate: Multi-task Learning for Recommender Systems

Guy Hadash, Oren Sar Shalom+1 more|arXiv (Cornell University)|Jul 31, 2018

Recommender Systems and Techniques参考文献 21被引用数 15

ひとこと要約

本稿では、ユーザーの二段階的意思決定プロセス—まずアイテムとやり取りするかどうかを決定する（ランク付け）、次に評価を与える（評価予測）—を、共有されるユーザーおよびアイテム埋め込みを用いて両タスクを同時に最適化することでモデル化する、新しいマルチタスク学習フレームワーク、Rank and Rate (RnR) を提案する。この手法は、最先端のベースラインと比較して推薦性能を顕著に向上させ、MovieLens 1M では最大 12.36% のRecall@10、Yelp では4.00% のRecall@10 を達成しており、協調フィルタリングにおける順序付きユーザー行動のモデル化の価値を示している。

ABSTRACT

The two main tasks in the Recommender Systems domain are the ranking and rating prediction tasks. The rating prediction task aims at predicting to what extent a user would like any given item, which would enable to recommend the items with the highest predicted scores. The ranking task on the other hand directly aims at recommending the most valuable items for the user. Several previous approaches proposed learning user and item representations to optimize both tasks simultaneously in a multi-task framework. In this work we propose a novel multi-task framework that exploits the fact that a user does a two-phase decision process - first decides to interact with an item (ranking task) and only afterward to rate it (rating prediction task). We evaluated our framework on two benchmark datasets, on two different configurations and showed its superiority over state-of-the-art methods.

研究の動機と目的

• ランク付けと評価予測を独立して扱う伝統的な単一タスク推薦モデルの限界を解消すること。
• ユーザー行動の順序的性質—まずアイテムを選択する（ランク付け）、次にそれを評価する（評価予測）—を、二段階的意思決定プロセスとしてモデル化すること。
• ランク付けと評価予測タスク間の共有表現を活用することで、マルチタスク学習により推薦性能を向上させること。
• ユーザー意思決定ダイナミクスを尊重するマルチタスクフレームワークに明示的な評価信号を組み込むことで、より優れた一般化性能と精度が得られることを示すこと。
• アーキテクチャの変更を要しない、汎用的で即時適用可能なフレームワークを提供すること、これにより既存のランク付けおよび評価予測アルゴリズムの性能を向上させること。

提案手法

• ランク付けモデル（例：CDAE や BPR）と評価予測モデル（例：SVD）を、共有されるユーザーおよびアイテム埋め込みを用いて同時に学習するマルチタスク学習フレームワークを提案する。
• ユーザーの意思決定プロセスを二段階の順序的段階としてモデル化する：(1) 互动選択（ランク付け）、(2) 明示的評価の割り当て（評価予測）、それぞれに異なる損失関数を設定する。
• ランク付けと評価予測の損失の重み付き組み合わせを用い、ハイパーパrameter α が両タスク間のトレードオフを制御する。
• ランク付けに協調ノイズ除去オートエンコーダ（CDAE）を採用し、ユーザーIDとノイズ除去正則化を用いて部分観測されたユーザーのインタラクション履歴を再構築する。
• 明示的評価が使用されない場合に、ランク付けにベイジアンパーソナライズドランク（BPR）を適用し、観測済みと未観測のアイテムのペアワイズランクを最適化する。
• 評価予測にSVDを用い、予測値と実際の評価値の二乗誤差を最小化するように、ユーザーおよびアイテムバイアスを用いる。
• ユーザーおよびアイテムのベクトルが両タスクで共同最適化される共有埋め込み空間を採用し、両タスクの表現品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ランク付けと評価予測を独立して扱うのではなく、選択の次に評価を与えるというユーザーの二段階的意思決定プロセスをモデル化することで、推薦性能が向上するか？
• RQ2 ランク付けと評価予測の間で共有表現を用いるマルチタスク学習は、単一タスクやヴァニラマルチタスクベースラインと比較して、より優れた一般化性能と性能を達成するか？
• RQ3 順序付きユーザー行動をモデル化するマルチタスクフレームワークに明示的な評価信号を組み込むことで、Recall@k や MRR@k といった標準的な推薦指標での性能にどのような影響を与えるか？
• RQ4 提案されたフレームワークは、アーキテクチャの変更なしに、さまざまなデータセットおよび異なるベースとなるランク付け・評価予測モデル（例：CDAE + SVD、BPR + SVD）に効果的に適用可能か？
• RQ5 二段階的モデリングアプローチは、協調フィルタリングにおけるデータスパarsity および選択バイアスの影響をどの程度軽減するか？

主な発見

• 提案された Rank and Rate (RnR) フレームワークは、MovieLens 1M データセットで 12.36% の Recall@10 を達成し、次に良い手法（ヴァニラ CDAE+SVD で 10.40%）および人気ベースライン（2.78%）を顕著に上回っている。
• Yelp 2018 データセットでは、RnR が 4.00% の Recall@10 を達成し、ヴァニラ CDAE+SVD ベースライン（3.18%）および人気ベースライン（1.66%）を上回っており、分野を越えた一貫した向上を示している。
• RnR フレームワークは、MovieLens 1M で MRR@10 を 0.0497 まで向上させ、最良の単一タスクベースライン（SVD で 0.0120）の MRR を2倍以上に上回っており、より優れたランク付け品質を示している。
• 本手法は、すべての評価指標およびデータセットで、ヴァニラマルチタスク学習および単一タスクベースラインを一貫して上回っており、二段階的意思決定プロセスをモデル化することの利点を確認している。
• 性能向上の背景には、ユーザー行動の順序的性質—まずアイテムを選択し、次にそれを評価する—を、タスクに適応した共有表現を通じて活用できる点にある。
• このフレームワークは、さまざまなベースモデルに適用可能で汎用的である：CDAE+SVD と BPR+SVD を用いた RnR は、両方ともそれぞれのヴァニラマルチタスク対応より優れた性能を示しており、広範な適用可能性を示している。