[論文レビュー] ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding

Zhiqiang Wang, Qingyun She+2 more|arXiv (Cornell University)|Jul 26, 2021

Recommender Systems and Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、入力インスタンスからの文脈的情報を用いて特徴埋め込みを動的に精錬する新しいCTR予測フレームワークであるContextNetを提案する。これにより、高次特徴相互作用の暗黙的モデリングが可能になる。文脈埋め込みモジュールと非線形マッピングを備えたContextNetブロックを統合することで、ContextNet-PFFNおよびContextNet-SFFNは、Criteo、Malware、Avazu、MovieLens-1mの4つの実世界データセットにおいて、DeepFM や xDeepFM などのSOTAモデルを上回り、最先端のAUC性能を達成した。

ABSTRACT

Click-through rate (CTR) estimation is a fundamental task in personalized advertising and recommender systems and it's important for ranking models to effectively capture complex high-order features.Inspired by the success of ELMO and Bert in NLP field, which dynamically refine word embedding according to the context sentence information where the word appears, we think it's also important to dynamically refine each feature's embedding layer by layer according to the context information contained in input instance in CTR estimation tasks. We can effectively capture the useful feature interactions for each feature in this way. In this paper, We propose a novel CTR Framework named ContextNet that implicitly models high-order feature interactions by dynamically refining each feature's embedding according to the input context. Specifically, ContextNet consists of two key components: contextual embedding module and ContextNet block. Contextual embedding module aggregates contextual information for each feature from input instance and ContextNet block maintains each feature's embedding layer by layer and dynamically refines its representation by merging contextual high-order interaction information into feature embedding. To make the framework specific, we also propose two models(ContextNet-PFFN and ContextNet-SFFN) under this framework by introducing linear contextual embedding network and two non-linear mapping sub-network in ContextNet block. We conduct extensive experiments on four real-world datasets and the experiment results demonstrate that our proposed ContextNet-PFFN and ContextNet-SFFN model outperform state-of-the-art models such as DeepFM and xDeepFM significantly.

研究の動機と目的

• 推薦システムにおける正確なランク付けに不可欠な高次特徴相互作用を効果的にモデリングする課題に対処すること。
• DNNベースのモデルで、複雑な特徴相互作用を効率的に捉えられない浅いMLPの限界を克服すること。
• 推論時に動的かつ文脈に適応した特徴埋め込みの精錬を可能にする、柔軟で解釈可能なフレームワークを構築すること。
• 計算コストを著しく増加させることなく、高次相互作用を暗黙的にモデリングできるスケーラブルなアーキテクチャを設計すること。

提案手法

• ContextNetは、入力インスタンストから各特徴の文脈に適した情報を集約する文脈埋め込みモジュールを備えた2部構成のフレームワークを導入する。
• ContextNetブロックは、高次相互作用信号を統合する非線形マッピングサブネットを用いて、各特徴の埋め込みを層ごとに維持・動的に精錬する。
• 線形および非線形な文脈埋め込みネットワークと、2つの異なる非線形マッピングサブネットを統合することで、ContextNet-PFFNおよびContextNet-SFFNという2つの具体的なモデルを提案する。
• 「潜在的クロス」メカニズムにインspiredされた、文脈埋め込みと隠れ状態の乗算的相互作用パターンを用いることで、加法的集約よりも特徴相互作用をより効果的にモデリングする。
• ブロック間で残差構造を採用することで、深層ネットワークの訓練を安定かつ高性能に実現する。
• 各ブロック間での埋め込み出力のドット積行列を用いて特徴重要度を分析し、進化する特徴相関を可視化する。

実験結果

リサーチクエスチョン

• RQ1 文脈的情報を用いた特徴埋め込みの動的精錬が、CTR予測における高次特徴相互作用モデリングを向上させるか？
• RQ2 ContextNetのアーキテクチャは、DeepFM や xDeepFM などの既存モデルと比較して、AUCおよび計算効率の面でどのように差をつけるか？
• RQ3 ContextNetブロックの数や埋め込みサイズが、モデルの性能および一般化能力にどの程度の影響を及えるか？
• RQ4 動的埋め込み機構が、各入力インスタンスごとに関連する特徴相互作用を的確に捉え、適応的に処理できるか？

主な発見

• ContextNet-PFFNおよびContextNet-SFFNは、4つの実世界データセットでSOTAのAUC性能を達成し、DeepFM や xDeepFM を上回った。
• Criteoデータセットでは、ContextNet-PFFNが埋め込みサイズ10のベースライン（AUC 0.8104）を上回るAUC 0.8113を達成した。
• 埋め込みサイズが50に達する段階で性能がピークに達し、CriteoではAUC 0.8113、MalwareではAUC 0.7417を記録したが、さらに大きなサイズでは過学習のため性能が低下した。
• ContextNetブロックの数が性能に顕著な影響を及ぼし、10～11ブロックで最適な結果が得られた。これは深層アーキテクチャにおける良好な学習性を示している。
• 動的埋め込み精錬の実証的妥当性が確認された：ブロックを経るごとに特徴相関が変化し、正例インスタンスでは「年齢」、「映画ジャンル」、「映画発売年」が重要な相関特徴として顕在化した。
• 特徴重要度分析から、サンプル化されたML-1mインスタンスにおいて「年齢=35」が最も影響力の高い特徴であることが判明し、モデルが文脈的に関連する特徴に動的に注目していることが一致した。