[論文レビュー] Wide & Deep Learning for Recommender Systems

Heng-Tze Cheng, Levent Koç+14 more|arXiv (Cornell University)|Jun 24, 2016

Recommender Systems and Techniques参考文献 8被引用数 260

ひとこと要約

この論文は Wide & Deep 学習を提案し、横断特徴の広い線形モデルと埋め込みを用いた深層ニューラルネットワークを共同訓練して推奨システムを改善し、Google Play でのオンラインの顕著な利得を示します。

ABSTRACT

Generalized linear models with nonlinear feature transformations are widely used for large-scale regression and classification problems with sparse inputs. Memorization of feature interactions through a wide set of cross-product feature transformations are effective and interpretable, while generalization requires more feature engineering effort. With less feature engineering, deep neural networks can generalize better to unseen feature combinations through low-dimensional dense embeddings learned for the sparse features. However, deep neural networks with embeddings can over-generalize and recommend less relevant items when the user-item interactions are sparse and high-rank. In this paper, we present Wide & Deep learning---jointly trained wide linear models and deep neural networks---to combine the benefits of memorization and generalization for recommender systems. We productionized and evaluated the system on Google Play, a commercial mobile app store with over one billion active users and over one million apps. Online experiment results show that Wide & Deep significantly increased app acquisitions compared with wide-only and deep-only models. We have also open-sourced our implementation in TensorFlow.

研究の動機と目的

• 疎な入力を持つ大規模な推奨システムにおいて、記憶化と一般化のバランスの必要性を動機づける。
• Wide & Deep 学習フレームワークを導入する。
• 広義と深層のコンポーネントを共同訓練する。
• オープンソースの TensorFlow 実装と実践的な訓練/提供の考慮事項を提供する。

提案手法

• wide コンポーネントを、クロス積特徴変換を用いた一般化線形モデルとして定義する。
• deep コンポーネントを、カテゴリ特徴の埋め込み層を持つフィードフォワード型ニューラルネットワークとして定義する。
• 出力を結合し、共有ロジスティック損失で最適化することで、wide および deep コンポーネントを共同訓練する。
• 訓練時には wide 部分に L1 正則化を伴う FTRL、deep 部分には AdaGrad を使用する。
• 新しいデータで再訓練する際に埋め込みと重みを再利用するウォームスタートシステムを実装する。
• 低遅延（約10 ms）要件を満たすため、マルチスレッドとバッチ処理で提供を最適化する。

実験結果

リサーチクエスチョン

• RQ1 大規模で疎な入力設定において、ハイブリッドな Wide & Deep モデルは、wide のみ・deep のみモデルより推奨精度を改善できるか？
• RQ2 wide および deep コンポーネントの共同訓練は、ベースラインと比較してオンライン性能（獲得数）を向上させ、オフライン指標も受け入れ可能か？
• RQ3 このようなハイブリッドモデルの本番展開における実践的な訓練と提供の考慮事項（レイテンシ、スループット）は何か？

主な発見

モデル	オフライン AUC	オンライン獲得ゲイン
Wide (control)	0.726	0%
Deep	0.722	+2.9%
Wide & Deep	0.728	+3.9%

• Wide & Deep は wide-only コントロールに対してオンライン獲得ゲイン +3.9% を達成。
• Wide & Deep は deep-only モデルより優れており、追加で +1.0% のオンラインゲイン（統計的に有意）。
• オフライン AUC for Wide & Deep は 0.728、deep（0.722）および wide（0.726）よりわずかに高い。
• マルチスレッド化によりバッチごとに提供遅延が14 msに削減され、Google Play規模でのスケーラブルな展開を可能にした。