[論文レビュー] DeepFM: An End-to-End Wide & Deep Learning Framework for CTR Prediction

Huifeng Guo, Ruiming Tang+4 more|arXiv (Cornell University)|Apr 12, 2018

Recommender Systems and Techniques参考文献 37被引用数 33

ひとこと要約

DeepFMは、共通の生特徴量入力を用いて低次および高次相互作用を同時に学習するエンドツーエンドのワイド＆ディープ学習フレームワークを提案する。これにより、手動による特徴工学の必要性が排除され、HuaweiアプリマーケットでのオンラインA/Bテストで、熟練したロジスティック回帰モデルよりもCTRが10%以上向上した。

ABSTRACT

Learning sophisticated feature interactions behind user behaviors is critical in maximizing CTR for recommender systems. Despite great progress, existing methods have a strong bias towards low- or high-order interactions, or rely on expertise feature engineering. In this paper, we show that it is possible to derive an end-to-end learning model that emphasizes both low- and high-order feature interactions. The proposed framework, DeepFM, combines the power of factorization machines for recommendation and deep learning for feature learning in a new neural network architecture. Compared to the latest Wide & Deep model from Google, DeepFM has a shared raw feature input to both its "wide" and "deep" components, with no need of feature engineering besides raw features. DeepFM, as a general learning framework, can incorporate various network architectures in its deep component. In this paper, we study two instances of DeepFM where its "deep" component is DNN and PNN respectively, for which we denote as DeepFM-D and DeepFM-P. Comprehensive experiments are conducted to demonstrate the effectiveness of DeepFM-D and DeepFM-P over the existing models for CTR prediction, on both benchmark data and commercial data. We conduct online A/B test in Huawei App Market, which reveals that DeepFM-D leads to more than 10% improvement of click-through rate in the production environment, compared to a well-engineered LR model. We also covered related practice in deploying our framework in Huawei App Market.

研究の動機と目的

• 既存のCTRモデルが低次または高次相互作用に限定的であるという限界に対処すること。
• エキスパートによる特徴工学に依存しないように、生特徴量からのエンドツーエンド学習を可能にすること。
• 因子化マシン（FM）によるペアワイズ相互作用のモデル化と、ディープニューラルネットワーク（DNN/PNN）による複雑な表現の学習という両者の長所を統合すること。
• 深層学習アーキテクチャの多様な組み合わせを深層部に組み込める汎用性の高いフレームワークを構築すること。
• オフラインベンチマークおよび実世界の産業的導入の両方で、フレームワークの有効性を検証すること。

提案手法

• DeepFMは、生特徴量から直接ペアワイズ相互作用をモデル化する因子化マシン（FM）に基づくワイド部を統合する。
• 同じ生入力を用いて、高次で非線形的な特徴相互作用を自動的に学習するため、ディープニューラルネットワーク（DNNまたはPNN）をディープ部として使用する。
• ワイド部とディープ部は同じ生特徴量入力を共有しており、事前処理や手動の特徴工学の必要性を排除し、同時に学習が可能である。
• FM部は潜在ベクトルの内積によりペアワイズ相互作用を計算するが、ディープ部は複数の全結合層を介して階層的表現を学習する。
• 最終的な予測は、両部の出力を重み付き和で結合することで得られ、明示的および暗黙的な特徴相互作用を両方捉えることができる。
• DNNおよびプロダクトニューラルネットワーク（PNN）を含む柔軟なディープアーキテクチャをサポートし、2つのバージョン（DeepFM-DとDeepFM-P）を提供する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングフレームワークは、手動の特徴工学を伴わずに、低次および高次特徴相互作用を効果的にモデル化できるか？
• RQ2 ワイド部とディープ部の間で共通の生特徴量入力を共有することのCTR予測性能への影響は何か？
• RQ3 実世界のデータセットにおいて、LR、ワイド＆ディープ、FNNといった最先端モデルと比較して、DeepFMはAUCおよびLoglossの観点でどの程度優れているか？
• RQ4 実際の産業的推薦システムにおいて、DeepFMはオンラインCTRおよびCVRで顕著な向上を達成するか？
• RQ5 オンライン導入において、DeepFMはLRと比較して推薦リストのパーソナライゼーション、カバレッジ、人気度にどの程度差をつけるか？

主な発見

• DeepFM-Dは、HuaweiアプリマーケットでのオンラインA/Bテストで、熟練したロジスティック回帰モデルと比較してCTRおよびCVRで10%以上の向上を達成した。
• オンラインA/Bテストでは、全期間を通じて一貫した改善が確認され、特定の日にはCTRが24%、CVRが25%にピークに達した。
• 3つのベンチマークデータセットにおいて、DeepFM-DはAUCおよびLoglossの観点で最先端モデルを上回ったが、GPU上での推論効率はLRと同等であった。
• DeepFM-Dが生成した推薦リストは、LRに比べて顕著に高いパーソナライゼーションとカバレッジを示しており、ユーザーに特化した推薦がより良い形で実現された。
• LRは人気アプリを頻繁に推薦する傾向にあったが、DeepFM-Dは学習された特徴相互作用により、ユーザー固有の関心をより良く捉えることで、人気バイアスを低減した。
• フレームワークは優れた汎用性とスケーラビリティを示し、本番環境でのマルチGPUトレーニングおよび非同期データ読み込みを用いた成功した導入が確認された。