[論文レビュー] Deep Learning for Click-Through Rate Estimation

Weinan Zhang, Jiarui Qin+3 more|arXiv (Cornell University)|Apr 21, 2021

Recommender Systems and Techniques参考文献 27被引用数 7

ひとこと要約

本サーベイは、クリック予測率（CTR）推定のためのディープラーニングモデルについて包括的なレビューを提供しており、浅いモデルから深層アーキテクチャへと進化する過程、明示的な特徴量相互作用の学習、行動モデリング、自動アーキテクチャ探索をカバーしている。ディープラーニングが高次元の特徴量相互作用を捉え、エンドツーエンドの学習を可能にすることでCTR予測を向上させる仕組みを強調しており、産業応用におけるモデル設計、表現学習、自動ニューラルアーキテクチャ探索における主な貢献が示されている。

ABSTRACT

Click-through rate (CTR) estimation plays as a core function module in various personalized online services, including online advertising, recommender systems, and web search etc. From 2015, the success of deep learning started to benefit CTR estimation performance and now deep CTR models have been widely applied in many industrial platforms. In this survey, we provide a comprehensive review of deep learning models for CTR estimation tasks. First, we take a review of the transfer from shallow to deep CTR models and explain why going deep is a necessary trend of development. Second, we concentrate on explicit feature interaction learning modules of deep CTR models. Then, as an important perspective on large platforms with abundant user histories, deep behavior models are discussed. Moreover, the recently emerged automated methods for deep CTR architecture design are presented. Finally, we summarize the survey and discuss the future prospects of this field.

研究の動機と目的

• 産業応用におけるCTR推定のためのディープラーニングモデルの包括的レビューを提供すること。
• 浅いモデルから深層アーキテクチャへの移行を分析し、より高いパフォーマンスを達成するためにより深いモデルがなぜ必要なのかを説明すること。
• 深層CTRモデルに組み込まれた明示的な特徴量相互作用学習モジュールを検討し、それらが高次元の特徴量パターンを捉える役割を果たす仕組みを明らかにすること。
• ユーザー履歴を活用してより良いCTR予測を実現するための深層行動モデリング技術を調査すること。
• 深層CTRモデルにおけるニューラルアーキテクチャ探索の自動化手法を調査し、人的設計作業を削減すること。

提案手法

• ロジスティック回帰やFMベースのモデルから、明示的な特徴量相互作用層を備えた深層ニューラルネットワークに至るCTRモデルの進化をサーベイすること。
• 多層パーセプトロン（MLP）、アテンション機構、ファクタリゼーション層を用いて高次元特徴量相互作用をモデル化する深層CTRモデルを分析すること。
• RNN、GRU、自己アテンションを用いた行動モデリング技術を紹介し、順序付きユーザー行動を表現すること。
• 進化的アルゴリズムと微分可能探索を用いた自動アーキテクチャ探索手法（例：AutoCTR、AMER）を提示し、最適なモデル構造の発見を可能にすること。
• Gumbel-Softmaxトリックを用いて、微分可能な方法で特徴量相互作用の選択確率を学習すること。
• 確率的勾配変分ベイズを用いて、ユーザー固有の特徴量相互作用選択のためのベイズ生成モデルを最適化すること。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、どのように浅いモデルから進化し、CTR推定性能を向上させてきたのか？
• RQ2 深層CTRモデルが高次元特徴量相互作用を捉えるために必要な主要な構成要素とメカニズムは何か？
• RQ3 大規模システムにおけるCTR予測を向上させるために、ユーザー行動シーケンスを効果的にモデリングする方法は何か？
• RQ4 深層CTRモデルのアーキテクチャ設計プロセスを自動化することの利点と課題は何か？
• RQ5 表現学習とマルチモーダルデータに関して、深層CTRモデリングにおける未解決の理論的・実用的課題は何か？

主な発見

• ディープラーニングは、複雑な特徴量相互作用のエンドツーエンド学習を可能にすることで、手作業による特徴量エンジニアリングへの依存を大幅に削減し、CTR推定を著しく向上させた。
• FM、FFM、およびそれらの深層拡張モデル（例：DeepFM、Wide & Deep）は、学習可能な埋め込み相互作用を通じて2次およびそれ以上の高次特徴量相互作用を効果的に捉えている。
• アテンション機構やメモリネットワークは、ユーザーインタラクションにおける長距離依存性や順序パターンを捉えることで、ユーザー行動モデリングを向上させる。
• AutoCTR や AMER などの自動アーキテクチャ探索手法は、人的介入を最小限に抑えながら高性能なCTRアーキテクチャを発見でき、効率性とパフォーマンスの両方を向上させる。
• 進展は見られたが、深層CTRモデルの理論的理解、カテゴリカルデータの表現学習、マルチモーダル特徴（例：テキスト、画像）をCTR予測に統合する課題は依然として残っている。
• モデル設計と学習可能なデータ処理戦略の統合は、CTR推定の向上に向けた有望な今後の方向性であると特定された。