[論文レビュー] Text Is All You Need: Learning Language Representations for Sequential Recommendation

Jiacheng Li, Ming Wang+5 more|arXiv (Cornell University)|May 23, 2023

Recommender Systems and Techniques被引用数 5

ひとこと要約

本稿では、アイテムをキー・バリュー属性を用いて自然言語文として扱うことで、双方向トランスフォーマーを介して文脈的・順序的な言語表現をエンド・ツー・エンドで学習可能な、新しい順序推薦フレームワークであるRecformerを提案する。Recformerは、言語理解と推薦タスクの両方で同時に事前学習することで、アイテムIDに依存せず、低リソースおよびコールドスタート設定でも最先端の性能を達成し、データセットやアイテム間で強力な転移性を示す。

ABSTRACT

Sequential recommendation aims to model dynamic user behavior from historical interactions. Existing methods rely on either explicit item IDs or general textual features for sequence modeling to understand user preferences. While promising, these approaches still struggle to model cold-start items or transfer knowledge to new datasets. In this paper, we propose to model user preferences and item features as language representations that can be generalized to new items and datasets. To this end, we present a novel framework, named Recformer, which effectively learns language representations for sequential recommendation. Specifically, we propose to formulate an item as a "sentence" (word sequence) by flattening item key-value attributes described by text so that an item sequence for a user becomes a sequence of sentences. For recommendation, Recformer is trained to understand the "sentence" sequence and retrieve the next "sentence". To encode item sequences, we design a bi-directional Transformer similar to the model Longformer but with different embedding layers for sequential recommendation. For effective representation learning, we propose novel pretraining and finetuning methods which combine language understanding and recommendation tasks. Therefore, Recformer can effectively recommend the next item based on language representations. Extensive experiments conducted on six datasets demonstrate the effectiveness of Recformer for sequential recommendation, especially in low-resource and cold-start settings.

研究の動機と目的

• IDベースの順序推薦手法がコールドスタートアイテムやクロスドメイン転移に対応できないという限界を是正すること。
• 言語表現学習と順序推薦を統合した、単一で転移可能なフレームワークを構築すること。
• アイテムの自然言語属性を活用することで、データセットや新規アイテムに対して効果的な知識転移を可能にすること。
• 一般に事前学習された言語モデルがもたらす不適切なテキスト表現を改善するため、推薦と言語理解の両方を同時に学習することで、最適でない表現を回避すること。
• アイテム属性から細粒度の語レベルの好みを学習するフレームワークを構築し、粗い文レベルの特徴ではなく、より精細な表現を得ること。

提案手法

• アイテムは、'color: red' や 'brand: Nike' のようなキー・バリュー属性ペアの系列として表現され、自然言語トークンの'文'を形成する。
• Longformerにインspiredされた双方向トランスフォーマー構造を採用し、推薦タスクに適応した相対的位置埋め込みとスパースアテンションを用いて、効率的なアイテム系列の符号化を実現する。
• 二重の目的で事前学習が行われる：アイテム属性系列におけるマスク言語モデリングと、ユーザ行動系列における次アイテム予測。
• 推薦タスク固有の目的関数を同時に最適化することで、微調整が行われ、言語理解と順序行動モデリングが整合する。
• ユーザ行動履歴、アイテム属性、系列境界を区別するための特別なトークン埋め込みが導入される。
• 学習されたアイテム属性の言語表現を一般化することで、ゼロショットおよびフェイントショット推薦を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アイテム属性を自然言語系列として効果的にモデル化することで、順序推薦の性能向上が図れるか？
• RQ2 言語理解と次アイテム予測の両方で同時に事前学習することで、特に低リソース環境において性能が向上するか？
• RQ3 アイテムIDの再学習なしに、コールドスタートアイテムや新しいデータセットに一般化できるか？
• RQ4 本稿で提案する言語表現フレームワークは、IDベースおよび事前学習言語モデルベースのベースラインと比較して、転移学習の場面でどのように性能を発揮するか？
• RQ5 順序推薦において、細粒度の語レベルの理解と粗い文レベルの特徴の両者、それぞれが果たす貢献度は何か？

主な発見

• Recformerは6つのベンチマークデータセットにおいて最先端の性能を達成し、フル監視設定および低リソース設定の両方で、既存手法を上回る。
• コールドスタートおよびゼロショット推薦において顕著な向上を示し、データセットや新規アイテム間で強力な転移性を示している。
• アブレーションスタディにより、言語と推薦の両タスクで同時に事前学習することで、単一タスクでの事前学習よりも性能が向上することが確認された。
• キー・バリュー属性系列を自然言語文として扱うことで、標準的なアイテムIDや埋め込みベースのアプローチよりもユーザの好みをより良い形でモデル化できる。
• スパースアテンションを用いた双方向トランスフォーマーは、ユーザ行動系列における長距離依存関係を効果的に捉えながら、計算効率を維持している。
• アイテム固有の埋め込みへの依存を低減することで、再学習なしに未観測アイテムや新規ドメインに対しても一般化が可能になった。