[論文レビュー] CTRL: Connect Collaborative and Language Model for CTR Prediction

Xiang‐Yang Li, Bo Chen+2 more|arXiv (Cornell University)|Jun 5, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本論文は、表形式データをテキスト形式に変換し、クロスモダリティ知識アライメントを実行することで、協調型および事前学習済み言語モデルを接続する新しいフレームワークCTRLを提案する。この手法は、低遅延推論を実現しつつ、オンラインCTR予測で最先端の性能を達成し、SOTAモデルを5%上回る。知識アライメント後に軽量な協調モデルをデプロイすることで、産業的効率性を維持する。

ABSTRACT

Traditional click-through rate (CTR) prediction models convert the tabular data into one-hot vectors and leverage the collaborative relations among features for inferring the user's preference over items. This modeling paradigm discards essential semantic information. Though some works like P5 and CTR-BERT have explored the potential of using Pre-trained Language Models (PLMs) to extract semantic signals for CTR prediction, they are computationally expensive and suffer from low efficiency. Besides, the beneficial collaborative relations are not considered, hindering the recommendation performance. To solve these problems, in this paper, we propose a novel framework extbf{CTRL}, which is industrial-friendly and model-agnostic with superior inference efficiency. Specifically, the original tabular data is first converted into textual data. Both tabular data and converted textual data are regarded as two different modalities and are separately fed into the collaborative CTR model and pre-trained language model. A cross-modal knowledge alignment procedure is performed to fine-grained align and integrate the collaborative and semantic signals, and the lightweight collaborative model can be deployed online for efficient serving after fine-tuned with supervised signals. Experimental results on three public datasets show that CTRL outperforms the state-of-the-art (SOTA) CTR models significantly. Moreover, we further verify its effectiveness on a large-scale industrial recommender system.

研究の動機と目的

• 従来のCTRモデルが、特徴のワンホットエンコーディングによって意味的情報を損なうという制限を解消すること。
• 表形式データからの協調信号と、事前学習済み言語モデル（PLM）からの意味的信号を統合し、推薦精度を向上させること。
• 産業的環境におけるPLMの高い推論コストを克服するため、知識アライメント後に軽量な協調モデルのみをデプロイすること。
• 広範な工学的最適化を必要としない、モデルに依存しない産業向けフレームワークを構築すること。

提案手法

• 人間が設計したプロンプトを用いて、生の表形式特徴を自然言語テキストに変換し、PLM処理を可能にする。
• 表形式データとテキストデータを2つの異なるモダリティとみなして、それぞれ協調CTRモデルと事前学習済み言語モデルに供給する。
• 対照的学習を用いてクロスモダリティ知識アライメントを実施し、細かく一致させた協調信号と意味的信号を統合する。
• アライメント済み表現からの教師信号を用いて、協調モデルを微調整し、下流のCTR予測タスクに適用する。
• オンラインサービングでは、軽量な協調モデルのみをデプロイすることで、低遅延推論を確保する。
• PLMパフォーマンスを最適化するため、プロンプトエンジニアリング戦略を評価する。

実験結果

リサーチクエスチョン

• RQ1 協調信号と意味的信号を、独立したモデリングを超えて、どのように効果的に統合できるか？
• RQ2 表形式表現とテキスト表現の間でクロスモダリティ知識アライメントを実施することで、推薦性能が向上するか？
• RQ3 PLM信号とのアライメント後に、軽量な協調モデルがどの程度最先端の性能を達成できるか？
• RQ4 提案フレームワークは、産業的環境で既存のSOTAモデルを上回る性能を発揮しながらも、低遅延推論を維持できるか？

主な発見

• 公開データセットにおいて、CTRLはAUC 0.6683を達成し、最良のベースライン（DeepFM：0.6547）およびCTR-BERT や P5 といったSOTAモデルを顕著に上回った。
• ログロスは0.1606にまで低下し、次に優れたモデル（AutoInt：0.1713）と比較して、最適化性能が優れていることを示した。
• 大規模な産業的システムにおけるオンラインA/Bテストでは、CTRLはベースモデル比でCTRを5%相対的に向上させた。
• フレームワークは、バックボーンとなる協調モデルと同等の推論遅延を維持しており、産業的効率性とデプロイ可能性を裏付けた。
• プロンプトエンジニアリングの結果、自然言語プロンプト（例："ユーザーの年齢：25歳、性別：男性"）がルールベースまたはマスキング変種を上回り、特にPrompt-1が最良のパフォーマンスを示した。
• アブレーションスタディにより、特徴フィールド（例："年齢"、"性別"）の含め方や、意味的に豊かで流れの良い文がモデル性能を顕著に向上させることを確認した。