[論文レビュー] Product-based Neural Networks for User Response Prediction

Yanru Qu, Han Cai+5 more|arXiv (Cornell University)|Nov 1, 2016

Text and Document Classification Technologies参考文献 9被引用数 52

ひとこと要約

本論文は、オンライン広告におけるユーザー反応予測のための製品ベースのニューラルネットワーク（PNNs）を提案する。カテゴリカル特徴を表現するために埋め込み層を用い、内積または外積に基づく製品層を用いて、特徴間の相互作用を明示的にモデル化する。PNNsは、CTR予測のための2つの大規模データセットにおいて、AUC や RIG を含む複数の指標で最先端のモデルを上回る優れた性能を示した。

ABSTRACT

Predicting user responses, such as clicks and conversions, is of great importance and has found its usage in many Web applications including recommender systems, web search and online advertising. The data in those applications is mostly categorical and contains multiple fields; a typical representation is to transform it into a high-dimensional sparse binary feature representation via one-hot encoding. Facing with the extreme sparsity, traditional models may limit their capacity of mining shallow patterns from the data, i.e. low-order feature combinations. Deep models like deep neural networks, on the other hand, cannot be directly applied for the high-dimensional input because of the huge feature space. In this paper, we propose a Product-based Neural Networks (PNN) with an embedding layer to learn a distributed representation of the categorical data, a product layer to capture interactive patterns between inter-field categories, and further fully connected layers to explore high-order feature interactions. Our experimental results on two large-scale real-world ad click datasets demonstrate that PNNs consistently outperform the state-of-the-art models on various metrics.

研究の動機と目的

• オンライン広告やレコメンデーションシステムで一般的な高次元・スパース・マルチフィールドカテゴリカルデータにおける高次元特徴相互作用のモデル化という課題に対処すること。
• 特徴工学が強く依存するロジスティック回帰や因子分解機械のような伝統的モデルの限界を克服すること。これらのモデルは複雑な相互作用に対処しきれない。
• 全結合層における加法的演算に依存するため、フィールド間相互作用を効果的にモデル化できない深層ニューラルネットワークの課題を改善すること。
• カテゴリカル特徴間の局所的依存関係を明示的に捉えることのできるスケーラブルで効率的な深層学習アーキテクチャの開発。
• スパースなカテゴリカルデータにおける特徴相互作用のモデル化において、標準的なMLPに比べて優れた代替手段としての製品演算（内積および外積）の有効性を実証すること。

提案手法

• 高次元スパースなバイナリ特徴（ワンホットエンコーディングからのもの）を、密な低次元の実数値ベクトルに変換する埋め込み層を適用し、効率的な表現学習を可能にする。
• 異なるフィールドからの埋め込みベクトル間の内積（IPNN）または外積（OPNN）を計算する製品層を導入し、ペアワイズ特徴相互作用を明示的にモデル化する。
• 製品層の出力を、後続の全結合（MLP）層の入力として用い、高次元・非線形な特徴相互作用を学習する。
• 2つの変種を設計：内積による相互作用強度の捉え方を目的とするIPNNと、外積行列を用いて相互作用パターンをモデル化するOPNN。
• クリックスルーレート（CTR）予測のための標準的な深層学習目的関数（例：バイナリクロスエントロピー）を用いて、モデルをエンドツーエンドで訓練する。
• 埋め込み次元（10に設定）、ネットワークの深さ（最適は3層）、活性化関数（効率性と勾配の流れを考慮し、ReLUを推奨）などのハイパーパrameterを最適化する。

Figure 1: Product-based Neural Network Architecture.

実験結果

リサーチクエスチョン

• RQ1 カテゴリカルデータにおける深層ニューラルネットワークの標準的な加法的演算に比べ、明示的な製品ベースの演算（内積および外積）が、フィールド間特徴相互作用をよりよく捉えることができるか？
• RQ2 IPNNおよびOPNNは、FNN、FM、CCPMといった既存モデルと比較して、実世界のCTR予測タスクにおいて性能に優れているか？
• RQ3 一般化性と収束性を考慮した場合、PNNの最適なアーキテクチャ設定（例：埋め込みサイズ、深さ、活性化関数）は何か？
• RQ4 製品層の使用は、高次元スパースな設定において、従来のMLPに比べて収束が速く、一般化性能が優れているか？
• RQ5 事前学習済みの因子分解機械に依存せずに、PNNはカテゴリカル特徴間の局所的依存関係を効果的にモデル化できるか？

主な発見

• PNNsは、iPinYouおよびAvazuの両データセットにおいて、AUC や RIG を含む複数の指標で、FNN や FM、CCPM といった最先端のモデルを一貫して上回った。
• IPNNは両データセットで最高のAUC性能を達成し、OPNN や PNN*（ハイブリッドモデル）を上回った。これは、内積演算が特徴相互作用のモデル化により効果的であることを示している。
• 3層の隠れ層を持つモデルがテストセットで最も優れた一般化性能を示し、表現力と過学習のバランスをとるには中程度の深さが最適であると考えられる。
• ReLU活性化関数は、シグモイドやtanhに比べて優れた性能を示した。これはスパarsity、効率的な勾配の流れ、計算速度の高さによる。
• PNNsはロジスティック回帰や因子分解機械よりも収束が早く、他のニューラルネットワークベースラインよりも収束性に優れた。
• アブレーションスタディにより、製品層が極めて重要であることが確認された。製品層を削除するか、加法的演算に置き換えると性能が低下し、明示的な相互作用モデル化の重要性が裏付けられた。

Figure 2: AUC Comparison of Dropout (OPNN).