[論文レビュー] Transformers with multi-modal features and post-fusion context for e-commerce session-based recommendation

Gabriel de Souza Pereira Moreira, Sara Rabhi+3 more|arXiv (Cornell University)|Jul 11, 2021

Recommender Systems and Techniques被引用数 9

ひとこと要約

本論文は、eコマースのセッションベース推薦において、トランスフォーマーに基づくアンサンブルモデルを提示する。この手法は、マルチモーダル特徴統合を用いて、表形式のインタラクションイベントと事前学習済みのテキストおよび画像埋め込みを統合する。アーキテクチャは、自己回帰的（Transformer-XL）および自己符号化的（XLNet）な学習目的を併用し、SIGIR 2021 Eコマースデータチャレンジで最先端の性能を達成した。プライベートテストセットにおけるMRRは0.482、F1スコアは0.578であった。

ABSTRACT

Session-based recommendation is an important task for e-commerce services, where a large number of users browse anonymously or may have very distinct interests for different sessions. In this paper we present one of the winning solutions for the Recommendation task of the SIGIR 2021 Workshop on E-commerce Data Challenge. Our solution was inspired by NLP techniques and consists of an ensemble of two Transformer architectures - Transformer-XL and XLNet - trained with autoregressive and autoencoding approaches. To leverage most of the rich dataset made available for the competition, we describe how we prepared multi-model features by combining tabular events with textual and image vectors. We also present a model prediction analysis to better understand the effectiveness of our architectures for the session-based recommendation.

研究の動機と目的

• ユーザーが匿名で短時間の動的セッションを繰り返すeコマース環境におけるセッションベース推薦の課題に対処すること。
• 表形式のイベント、製品説明、画像埋め込みといったマルチモーダル特徴を統合することで、統一されたディープラーニングフレームワーク内で推薦精度を向上させること。
• 自己回帰的および自己符号化的学習目的で訓練されたトランスフォーマー・アーキテクチャの、セッションベース推薦における有効性を調査すること。
• セッション長、アイテムの人気度、価格に関するモデルの挙動を分析し、コールドスタートや人気度バイアスといった主な失敗要因を特定すること。

提案手法

• アンサンブルモデルは、自己回帰的言語モデル学習で訓練されたTransformer-XLと、マスクド言語モデル学習で訓練されたXLNetという2つのトランスフォーマー・アーキテクチャを組み合わせる。
• マルチモーダル特徴は、ユーザーのインタラクションイベント（例：クリック、購入）という表形式データと、製品説明からの事前学習済みテキスト埋め込み、ビジョンエンコーダーからの画像埋め込みを統合することで構築される。
• 特徴工学には、人気度バイアスを軽減し、レアアイテムの一般化性能を向上させるためにアイテム頻度の上限を設定する。
• 最終的な予測は、2つのトランスフォーマー・モデルの予測をアンサンブル平均することで得られ、インフェレンスは各セッションの前半を用いて後半を予測する。
• モデル評価には、バリデーションおよびプライベートテストセットにおけるMRRとF1スコアが用いられ、セッション長、アイテムの人気度、価格に関するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的および自己符号化的学習目的で訓練されたトランスフォーマー・アーキテクチャは、eコマースにおけるセッションベース推薦にどの程度有効であるか？
• RQ2 テキスト、視覚的、表形式のマルチモーダル特徴は、表形式のみのモデルと比較して、どの程度推薦性能を向上させるか？
• RQ3 モデルのパフォーマンスはセッション長にどのように依存するか？また、長時間のセッションでMRRが低下する理由は何か？
• RQ4 アイテムの人気度は予測精度にどの程度影響を与えるか？また、レアまたは未確認のアイテムはどのように処理されるか？
• RQ5 製品の価格は予測精度にどのように影響を与えるか？また、価格に基づくバイアスは存在するか？

主な発見

• アンサンブルモデルはプライベートテストセットでMRR 0.482、F1スコア 0.578を達成し、コンペティションにおける非ディープラーニングベースラインを上回った。
• 長時間のセッションではMRRが低下した。これは、埋め込みのセッション内類似度が低下するため、次アイテム予測が難しくなることによるものと推察される。
• モデルは強い人気度バイアスを示した。1～4回のインタラクションしか持たないアイテムのMRRはわずか0.0009であり、稀なアイテムの予測性能が著しく低いことが示された。
• 50回以上のインタラクションを持つアイテムではMRRが顕著に高く、頻度の高いアイテムは予測が容易であることを裏付けた。
• 事前学習または微調整中に登場しなかった「新製品」の予測ではMRR = 0であった。これは、新製品に対するコールドスタート問題が顕著に現れていることを示している。
• 低価格帯製品（バケット1～4）ではMRRが低く、より高価な製品が頻繁にインタラクションを受けるため、人気度バイアスの影響が強いと推察される。