[論文レビュー] Deep Interest Network for Click-Through Rate Prediction

Guorui Zhou, Chengru Song+8 more|arXiv (Cornell University)|Jun 21, 2017

Recommender Systems and Techniques参考文献 29被引用数 38

ひとこと要約

本稿では、クリック予測率（CTR）予測のための新しい深層学習モデルであるDeep Interest Network（DIN）を提案する。DINは、各候補広告に対して関連する歴史的行動を注目することで、ユーザーの関心表現を動的に適応させる。局所的アクティベーションユニットとデータ適応的技術を導入することで、多様なユーザーの関心をよりよくモデル化し、実世界のデータセットでSOTAのAUC 0.6083を達成するとともに、オンラインA/BテストでCTRが10.0%向上した。

ABSTRACT

Click-through rate prediction is an essential task in industrial applications, such as online advertising. Recently deep learning based models have been proposed, which follow a similar Embedding\&MLP paradigm. In these methods large scale sparse input features are first mapped into low dimensional embedding vectors, and then transformed into fixed-length vectors in a group-wise manner, finally concatenated together to fed into a multilayer perceptron (MLP) to learn the nonlinear relations among features. In this way, user features are compressed into a fixed-length representation vector, in regardless of what candidate ads are. The use of fixed-length vector will be a bottleneck, which brings difficulty for Embedding\&MLP methods to capture user's diverse interests effectively from rich historical behaviors. In this paper, we propose a novel model: Deep Interest Network (DIN) which tackles this challenge by designing a local activation unit to adaptively learn the representation of user interests from historical behaviors with respect to a certain ad. This representation vector varies over different ads, improving the expressive ability of model greatly. Besides, we develop two techniques: mini-batch aware regularization and data adaptive activation function which can help training industrial deep networks with hundreds of millions of parameters. Experiments on two public datasets as well as an Alibaba real production dataset with over 2 billion samples demonstrate the effectiveness of proposed approaches, which achieve superior performance compared with state-of-the-art methods. DIN now has been successfully deployed in the online display advertising system in Alibaba, serving the main traffic.

研究の動機と目的

• 既存のEmbedding&MLPモデルにおける固定長のユーザー表現ベクトルの制限に対処すること。これは、多様なユーザーの関心を1つの固定ベクトルに圧縮してしまうためである。
• 動的で広告固有のユーザー関心表現を可能にすることで、CTR予測における深層学習モデルの表現能力を向上させること。
• 数十億のパラメータとスパース特徴を持つ大規模な産業用深層ネットワークに適したトレーニング技術を開発すること。
• オフラインおよびオンライン評価を通じて、DINの実世界のオンライン広告システムにおける有効性を検証すること。

提案手法

• 候補広告に対する関連性に基づいてユーザー行動の注目重みを計算する局所的アクティベーションユニットを導入し、広告固有の関心表現を可能にする。
• 学習された注目重みを用いてユーザー行動埋め込みの重み付き和プーリングを実行し、文脈に適したユーザー埋め込みを生成する。
• ミニバッチに特化した正則化を提案。これは各ミニバッチ内の非ゼロ特徴パラメータのみにL2正則化を適用することで、計算コストを削減する。
• データ分布からパラメータを学習するデータ適応的活性化関数（Dice）を提案。これにより、トレーニングの安定性とパフォーマンスが向上する。
• ユーザーおよびアイテム特徴のための共有埋め込み層を備えた2タワーアーキテクチャを採用。その後に相互作用層と全結合層を配置し、最終的な予測を行う。
• t-SNE可視化を用いて、DINが埋め込み空間でクラスタ化され、マルチモーダルなユーザー関心表現を学習していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、固定長ベクトルではなく、候補広告の文脈に基づいてユーザー関心表現を動的に適応させることができるか？
• RQ2 歴史的行動に対する局所的注目は、固定長のユーザー埋め込みと比較して、CTR予測パフォーマンスをどのように向上させるか？
• RQ3 ミニバッチに特化した正則化は、スパース特徴と数十億のパラメータを持つ大規模な深層ネットワークの効率的トレーニングを可能にするか？
• RQ4 データ適応的Dice活性化関数は、産業用途のCTR予測タスクにおいて収束性とパフォーマンスを向上させるか？
• RQ5 DINは実際のプロダクション広告システムにおいて、オンラインCTRおよび収益指標をどの程度向上させるか？

主な発見

• Alibabaの実世界データセットでAUC 0.6083を達成し、SOTAモデルより相対的に11.65%の向上を示した。
• オンラインA/Bテストでは、DINが前回のオンラインモデルと比較してCTRが最大10.0%向上し、RPMが3.8%向上した。
• 局所的アクティベーションユニットは、注目重みの可視化により、候補広告に対して最も関連性の高い行動を明確に特定できた。
• t-SNE可視化により、DINが埋め込み空間でクラスタ化され、マルチモーダルなユーザー関心分布を学習していることが確認された。同じカテゴリのアイテムが明確なクラスタを形成していた。
• ミニバッチに特化した正則化とDice活性化関数の組み合わせにより、標準的なトレーニングと比較してAUCがさらに0.0054向上した。
• DINはAlibabaのオンラインディスプレイ広告システムに正常にデプロイされ、低遅延・高スループットの推論を実現し、主要トラフィックを処理している。