[論文レビュー] Deep Learning over Multi-field Categorical Data: A Case Study on User Response Prediction

Weinan Zhang, Tianming Du+1 more|arXiv (Cornell University)|Jan 11, 2016

Recommender Systems and Techniques参考文献 30被引用数 66

ひとこと要約

本論文は、オンライン広告における多フィールド分類特徴量を用いたクリック予測のための2つの深層学習モデル—FNN および SNN—を提案する。因子分解マシン、RBM、ノイズ除去オートエンコーダーを活用して効率的な特徴埋め込みを実現し、高次特徴相互作用を自動で学習することで、線形モデルや浅いモデルと比較して顕著なAUC向上を達成し、実世界のデータセットにおいて最先端の性能を実現した。

ABSTRACT

Predicting user responses, such as click-through rate and conversion rate, are critical in many web applications including web search, personalised recommendation, and online advertising. Different from continuous raw features that we usually found in the image and audio domains, the input features in web space are always of multi-field and are mostly discrete and categorical while their dependencies are little known. Major user response prediction models have to either limit themselves to linear models or require manually building up high-order combination features. The former loses the ability of exploring feature interactions, while the latter results in a heavy computation in the large feature space. To tackle the issue, we propose two novel models using deep neural networks (DNNs) to automatically learn effective patterns from categorical feature interactions and make predictions of users' ad clicks. To get our DNNs efficiently work, we propose to leverage three feature transformation methods, i.e., factorisation machines (FMs), restricted Boltzmann machines (RBMs) and denoising auto-encoders (DAEs). This paper presents the structure of our models and their efficient training algorithms. The large-scale experiments with real-world data demonstrate that our methods work better than major state-of-the-art models.

研究の動機と目的

• オンライン広告におけるスパースで多フィールドの分類特徴量を用いたユーザーのクリック予測の課題に対処すること。
• 複雑な特徴相互作用を捉えられない線形モデルの限界を克服すること。
• 高次元スパース特徴量に対する深層ネットワークの学習にかかる計算負荷を、効果的な埋め込み技術によって軽減すること。
• 深層ニューラルネットワークにおける教師ありおよび教師なし事前学習手法を用いることで、モデルの一般化性能と性能を向上させること。
• 大規模でスパースな分類特徴空間における複雑な非線形相互作用をモデル化する深層学習の有効性を示すこと。

提案手法

• スパースな分類特徴量から密度型の低次元埋め込みを学習するため、因子分解マシンを用いた教師あり事前学習を実施する要因分解マシン支援ニューラルネットワーク（FNN）を提案。
• 有効な特徴表現を学習するため、サンプリングベースのRBMとノイズ除去オートエンコーダーを用いた教師なし事前学習を採用するサンプリングベースニューラルネットワーク（SNN）を導入。
• 埋め込み処理後に非線形パターンをモデル化するため、ReLUまたはシグモイド活性化関数を用いた多層全結合深層ニューラルネットワークアーキテクチャを採用。
• 限定的な学習データにおいて一般化性能を向上させ、過学習を低減するため、中間部が細くなるダイアモンド型ネットワークアーキテクチャ（中間部が狭くなる）を適用。
• 過学習を防ぐためにドロップアウトとL2正則化を適用し、ドロップアウトがバギングに類似した平均化効果を発揮するため、より効果的であることが示された。
• 大規模データセットにおける学習効率とスケーラビリティを向上させるために、RBMおよびDAEの事前学習段階でネガティブサンプリングを採用。

実験結果

リサーチクエスチョン

• RQ1 スパースで多フィールドの分類特徴量が一般的なオンライン広告において、深層ニューラルネットワークは高次特徴相互作用を効果的にモデル化できるか？
• RQ2 教師ありおよび教師なし事前学習手法は、CTR予測のための効果的な低次元表現を学習する上で、どのように比較されるか？
• RQ3 層のサイズや形状といったアーキテクチャ設計は、CTR予測のための深層学習モデルにおいて、最良の一般化性能と性能をもたらすか？
• RQ4 ドロップアウトやL2ノルムといった正則化技術は、スパース入力を伴う深層ネットワークにおけるモデルの一般化性能とAUC性能にどのように影響するか？
• RQ5 深層学習モデルは、ロジスティック回帰やFMsといった従来の線形モデルを、実世界のデータにおけるCTR推定において上回ることができるか？

主な発見

• FNNおよびSNNモデルは、実世界の広告データセットにおいて、ロジスティック回帰、FMs、勾配ブースティングツリーなど最先端のモデルと比較して顕著なAUC向上を達成した。
• ダイアモンド型の深層ネットワークアーキテクチャは、複数のデータセットおよび隠れユニット数の設定において、完全結合型、増加型、減少型の構成を常に上回る性能を示した。
• ドロップアウト正則化はL2正則化を常に上回り、FNNでは約0.8、SNNでは約0.99の最適ドロップアウト率が得られた。これは、ネットワークの接続性と耐性の違いを反映している。
• SNNは完全結合の下層部を持つため、FNNよりもドロップアウト率に対して感受性が高く、FNNの部分的接続性がドロップアウト下でも耐性を高めている。
• 因子分解マシン、RBM、ノイズ除去オートエンコーダーによる事前学習により、密度型表現の効率的かつ効果的な学習が可能となり、手動による特徴工学の必要性が低下した。
• 提案されたモデルはテストセットにおいても良好な一般化性能を示し、合計で約600個の隠れユニット（例：200-300-100）で性能がピークに達する傾向を示しており、与えられたデータサイズに対する最適な容量であることが示された。