[論文レビュー] Learning Vector-Quantized Item Representation for Transferable Sequential Recommenders

Yupeng Hou, Zhankui He+2 more|arXiv (Cornell University)|Oct 22, 2022

Recommender Systems and Techniques被引用数 6

ひとこと要約

この論文では、2段階のプロセスを導入することで、転送可能な順序推薦表現を学習する新しい手法VQ-Recを提案する。まず、アイテムのテキストを離散的ベクトル量子化コードにマッピングし、次にこれらのコードを用いて学習可能な埋め込みを検索する。テキスト符号化と最終的なアイテム表現を分離することで、VQ-Recはテキストの意味的特徴への過剰な依存を軽減し、ドメインギャップの影響を緩和し、6つのクロスドメインおよびクロスプラットフォームベンチマークで最先端のパフォーマンスを達成する。

ABSTRACT

Recently, the generality of natural language text has been leveraged to develop transferable recommender systems. The basic idea is to employ pre-trained language models~(PLM) to encode item text into item representations. Despite the promising transferability, the binding between item text and item representations might be too tight, leading to potential problems such as over-emphasizing the effect of text features and exaggerating the negative impact of domain gap. To address this issue, this paper proposes VQ-Rec, a novel approach to learning Vector-Quantized item representations for transferable sequential Recommenders. The main novelty of our approach lies in the new item representation scheme: it first maps item text into a vector of discrete indices (called item code), and then employs these indices to lookup the code embedding table for deriving item representations. Such a scheme can be denoted as "text $\Longrightarrow$ code $\Longrightarrow$ representation". Based on this representation scheme, we further propose an enhanced contrastive pre-training approach, using semi-synthetic and mixed-domain code representations as hard negatives. Furthermore, we design a new cross-domain fine-tuning method based on a differentiable permutation-based network. Extensive experiments conducted on six public benchmarks demonstrate the effectiveness of the proposed approach, in both cross-domain and cross-platform settings. Code and pre-trained model are available at: https://github.com/RUCAIBox/VQ-Rec.

研究の動機と目的

• 転送可能な順序推薦における事前学習言語モデル（PLM）のテキスト符号化とアイテム表現の密な結合を緩和し、テキスト特徴の過剰強調やドメインギャップの悪化を防ぐこと。
• テキスト表現の意味的特徴とアイテム埋め込みを分離することで、クロスドメインおよびクロスプラットフォーム推薦における転送性を向上させること。
• ドメインシフトに対して頑健性を高めつつ、順序行動モデリングの能力を維持する表現スキームを開発すること。
• 混合ドメインおよび準実在のコード表現をハードネガティブ例として用いた対照的事前学習戦略を設計すること。
• コード埋め込みの整合性を保ちつつ、効果的なクロスドメインファインチューニングを可能にする微分可能な置換ベースのネットワークを提案すること。

提案手法

• テキスト → 離散的コード → 埋め込み照合の2段階的アイテム表現スキームを導入。コードはベクトル量子化により学習される。
• コードブックを用いたベクトル量子化モジュールを採用し、PLMで符号化されたアイテムテキストを離散インデックス（コード）にマッピングすることで、意味的特徴と表現を分離する。
• 混合ドメインおよび準実在のコード表現から構成されるハードネガティブ例を用いた対照的事前学習目的を採用し、一般化性能を向上させる。
• ファインチューニング段階でドメイン固有のコード埋め込み整合性を学習するため、微分可能な置換ベースのネットワークを提案。これにより、新しいドメインへの適応が効果的に行える。
• 事前学習言語モデル（PLMs）を用いてアイテムテキストを符号化し、その後、学習可能なコードブックを用いて各アイテムの離散インデックスを生成する。
• 各コードインデックスが密度ベクトルにマッピングされる学習可能な埋め込みテーブルを適用し、最終的なアイテム表現を形成する。

Figure 1. The overall framework of the proposed vector-quantized code-based transferable sequential recommender VQ-Rec.

実験結果

リサーチクエスチョン

• RQ1 離散的コードを介してテキスト符号化とアイテム表現を分離することで、順序推薦における転送性が向上するか？
• RQ2 提案されたVQ-Rec手法は、マルチドメイン事前学習におけるドメインギャップの悪影響をどのように軽減するか？
• RQ3 混合ドメインおよび準実在のコード表現をハードネガティブ例として用いることで、モデルの一般化性能がどの程度向上するか？
• RQ4 微分可能な置換ベースのネットワークは、ファインチューニング段階でドメイン間のコード埋め込みを効果的に整合できるか？
• RQ5 2段階の表現スキーム（テキスト → コード → 表現）は、クロスドメインおよびクロスプラットフォーム設定において直接PLMベースのアイテム表現を上回るか？

主な発見

• VQ-Recは、クロスドメインおよびクロスプラットフォームの順序推薦設定において、6つの公開ベンチマークで最先端のパフォーマンスを達成した。
• この手法は、テキストから最終表現を分離することで、テキストの意味的特徴への過剰な依存を顕著に軽減し、モデルの一般化性能を向上させた。
• 混合ドメインおよび準実在のコード表現をハードネガティブ例として用いることで、対照的事前学習が強化され、ドメインシフトに対する頑健性が向上した。
• 微分可能な置換ベースのファインチューニング機構により、ドメイン間でのコード埋め込みの整合が効果的に実現され、適応速度と正確性が向上した。
• 実証的結果から、ゼロショットおよびフェイシュート転送シナリオにおいて、PLMベースおよびコードベースの強力なベースラインを一貫して上回ることが示された。
• アブレーションスタディの結果、2段階の表現スキームおよび提案された事前学習／ファインチューニングコンponentsがパフォーマンス向上に不可欠であることが確認された。

Figure 2. Performance comparison w.r.t. increasing training data on “Office” and “Online Retail” datasets. The x-axis coordinates denote the proportion of original training data that the recommenders are trained on.