[論文レビュー] Personalized Transformer for Explainable Recommendation

Lei Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 37被引用数 8

ひとこと要約

この論文では、説明可能な推薦のための自然言語生成にユーザーおよびアイテムIDを統合する、パーソナライズドなTransformerモデルPETERを提案する。IDをターゲット語にマッピングする文脈予測タスクを導入することで、PETERはユーザーおよびアイテム固有の説明を生成可能となり、大規模データセットにおいて、微調整されたBERTよりも生成品質および学習効率で優れている。

ABSTRACT

Personalization of natural language generation plays a vital role in a large spectrum of tasks, such as explainable recommendation, review summarization and dialog systems. In these tasks, user and item IDs are important identifiers for personalization. Transformer, which is demonstrated with strong language modeling capability, however, is not personalized and fails to make use of the user and item IDs since the ID tokens are not even in the same semantic space as the words. To address this problem, we present a PErsonalized Transformer for Explainable Recommendation (PETER), on which we design a simple and effective learning objective that utilizes the IDs to predict the words in the target explanation, so as to endow the IDs with linguistic meanings and to achieve personalized Transformer. Besides generating explanations, PETER can also make recommendations, which makes it a unified model for the whole recommendation-explanation pipeline. Extensive experiments show that our small unpretrained model outperforms fine-tuned BERT on the generation task, in terms of both effectiveness and efficiency, which highlights the importance and the nice utility of our design.

研究の動機と目的

• ユーザーおよびアイテムIDが単語と意味的に整合しないTransformerにおける自然言語生成のパーソナライズ化の課題に対処すること。
• 同じアーキテクチャを用いて推薦と説明生成の両方を実行する統合型モデルを可能にすること。
• ユーザーおよびアイテムIDに言語的意味を与える学習目的を設計し、生成に有効にすること。
• アイテム特徴を生成プロセスに組み込むことで説明可能性を向上させ、的を射た説明を可能にすること。
• 小さな、事前学習を行わないTransformerが、Bertのような大きな微調整済みモデルを上回る生成タスクの性能を示すこと。

提案手法

• ユーザーおよびアイテムIDを用いて説明シーケンス内の単語を予測する文脈予測タスクを導入し、IDを意味的表現にマッピングする。
• 同じTransformerエンコーダデコーダアーキテクチャを共有する説明生成と文脈予測のマルチタスク目的でモデルを学習する。
• 計算コストを低減しつつも強力な性能を維持するため、軽量で2層の事前学習を行わないTransformerを用いる。
• アイテム特徴を入力に組み込むことで、説明生成をガイドし、的を射た説明（例：価格やスタイルについて）を可能にする。
• ユーザーおよびアイテムIDを埋め込み、アテンションを介して処理する共有表現学習メカニズムを適用し、デコード時に影響を与える。
• 情報漏洩を防ぐために推薦ヘッドで左から右へのマスクを適用し、モデルが未来のトークンではなく文脈から学習することを保証する。

実験結果

リサーチクエスチョン

• RQ1 標準的なTransformerは、ユーザーおよびアイテムIDを用いて自然言語生成を効果的にパーソナライズできるか？
• RQ2 文脈予測タスクを導入することで、IDが説明生成に意味的に寄与できるか？
• RQ3 統合型モデルが、微調整されたBERTを上回る性能で、推薦と説明生成の両方を実行できるか？
• RQ4 アイテム特徴を組み込むことで、生成された説明の品質および関連性は向上するか？
• RQ5 小さな、事前学習を行わないTransformerは、大きな微調整済みモデルを上回る生成タスクの性能を示せるか？

主な発見

• PETERは、複数のデータセットで主要なテキスト生成指標（BLEU、ROUGE、説明可能性に焦点を当てた指標）において、微調整されたBERTをすべて上回っている。
• トレーニング時間は、TripAdvisorデータセットで1エポックあたり2.3分であり、事前学習を行わないにもかかわらず、ACMLMよりも顕著に高速である。
• 文脈予測タスクを無効化すると、説明品質および説明可能性が著しく低下し、一意な文割合（USR）は標準Transformerと同等に近づく。
• 特徴をガイドにした生成を行うPETER+は、文脈に応じて「部屋」に焦点を当てるなど、より正確で意味的に関連性の高い説明を生成する。
• 大規模なYelpデータセット（130万レコード）において、PETERはSVD++、NRT、NETEといった強力なベースラインと同等の推薦性能を達成している。
• アブレーションスタディにより、文脈予測タスクがパーソナライズ化に不可欠であることが確認され、その削除により異なるユーザー・アイテムペアに対しても同一の説明が生成されるようになる。