[論文レビュー] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

Fei Sun, Jun Liu+5 more|arXiv (Cornell University)|Apr 14, 2019

Recommender Systems and Techniques参考文献 56被引用数 275

ひとこと要約

BERT4Recは、逐次推奨のための双方向のTransformerベースのモデルを導入し、Cloze（マスク付き言語モデル）目的を用いて情報漏れを防いだトレーニングを行い、4つのデータセットで最先端の結果を達成します。

ABSTRACT

Modeling users' dynamic and evolving preferences from their historical behaviors is challenging and crucial for recommendation systems. Previous methods employ sequential neural networks (e.g., Recurrent Neural Network) to encode users' historical interactions from left to right into hidden representations for making recommendations. Although these methods achieve satisfactory results, they often assume a rigidly ordered sequence which is not always practical. We argue that such left-to-right unidirectional architectures restrict the power of the historical sequence representations. For this purpose, we introduce a Bidirectional Encoder Representations from Transformers for sequential Recommendation (BERT4Rec). However, jointly conditioning on both left and right context in deep bidirectional model would make the training become trivial since each item can indirectly "see the target item". To address this problem, we train the bidirectional model using the Cloze task, predicting the masked items in the sequence by jointly conditioning on their left and right context. Comparing with predicting the next item at each position in a sequence, the Cloze task can produce more samples to train a more powerful bidirectional model. Extensive experiments on four benchmark datasets show that our model outperforms various state-of-the-art sequential models consistently.

研究の動機と目的

• 履歴の相互作用から動的で順序が不確定なユーザーの嗜好をモデリングする目的。
• 逐次推奨のための双方向Transformerベースのアーキテクチャを提案する。
• 双方向性に起因する訓練上の課題を、Cloze（マスク付き言語モデル）目的で対処する。
• 複数のデータセットで最先端のベースラインより性能が優れていることを示す。
• 双方向性とCloze目的の寄与を分離するアブレーション研究を提供する。

提案手法

• ユーザーの挙動系列をモデル化するために、BERT（Bidirectional Encoder Representations from Transformers）を採用する。
• 全体のシーケンスにわたる依存関係を捕捉するために、マルチヘッド自己注意を備えたTransformerを使用する。
• 情報漏れを回避するため、アイテムの一部をマスクして左・右の文脈からそれらを予測するCloze目的で訓練する。
• 推論時には、シーケンス課題と整合する次のアイテムを予測するために、最後に[mask]トークンを追加する。
• パラメータを削減し過学習を防ぐため、入力層と出力層の間でアイテムの埋め込みを共有する。
• 双方向性とCloze目的の効果を分離するアブレーション研究を実施する。

実験結果

リサーチクエスチョン

• RQ1 双方向自己注意は、単方向モデルよりも逐次推奨を改善しますか？
• RQ2 Cloze目的が訓練効率と推奨性能に与える影響は何ですか？
• RQ3 双方向性とCloze目的は、それぞれ強力なベースラインに対する性能向上にどの程度寄与しますか？
• RQ4 BERT4Recは、多様なデータセットにおいて既存の最先端逐次モデルと比較してどの程度性能を発揮しますか？

主な発見

• BERT4Recは、4つのベンチマークデータセット全体で一貫して最先端のベースラインを上回る。
• アブレーションにより、双方向モデリングとCloze目的の両方が性能向上に寄与し、特に双方向性が大きな利点をもたらすことが示される。
• モデルは複数のデータセットでHR@k、NDCG@k、MRRの顕著な改善を達成する。
• Cloze目的はシーケンスあたりの訓練サンプルを増やし、より強力な双方向表現を可能にする。
• 注意機構のパターンの視覚分析は、双方向Transformerによって意味のある位置間依存関係が捉えられていることを示す。