[論文レビュー] Operation-aware Neural Networks for User Response Prediction

Yi Yang, Baile Xu+2 more|arXiv (Cornell University)|Apr 2, 2019

Recommender Systems and Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、ユーザー応答予測における異なる演算（例：内積、外積）のための特徴表現を別々に学習する、操作に特化したニューラルネットワーク（ONN）を提案する。各演算ごとに埋め込みを分離することで、高次元の特徴相互作用のモデリングを改善し、オンライン学習環境でも高速収束を達成する。その結果、CTR/CVR予測タスクで最先端の性能を発揮した。

ABSTRACT

User response prediction makes a crucial contribution to the rapid development of online advertising system and recommendation system. The importance of learning feature interactions has been emphasized by many works. Many deep models are proposed to automatically learn high-order feature interactions. Since most features in advertising system and recommendation system are high-dimensional sparse features, deep models usually learn a low-dimensional distributed representation for each feature in the bottom layer. Besides traditional fully-connected architectures, some new operations, such as convolutional operations and product operations, are proposed to learn feature interactions better. In these models, the representation is shared among different operations. However, the best representation for different operations may be different. In this paper, we propose a new neural model named Operation-aware Neural Networks (ONN) which learns different representations for different operations. Our experimental results on two large-scale real-world ad click/conversion datasets demonstrate that ONN consistently outperforms the state-of-the-art models in both offline-training environment and online-training environment.

研究の動機と目的

• 既存のユーザー応答予測用ディープラーニングモデルにおける、複数の演算に共通する特徴表現の制限を解消すること。
• 演算固有の埋め込みを学習することで、高次元の特徴相互作用のモデリングを向上させること。
• 特にリアルタイム広告システムを想定した、オフラインおよびオンライン学習環境における性能向上を図ること。
• CTR/CVR予測のためのニューラルアーキテクチャにおいて、より柔軟で効果的な特徴表現学習を可能にすること。

提案手法

• 各特徴が使用される演算に応じて、異なる低次元表現を学習する操作に特化した埋め込み層を提案する。
• 複数の演算（例：内積、外積）を、共有された埋め込みではなく、演算固有の埋め込みに対して適用する、操作に特化したニューラルネットワーク（ONN）を導入する。
• 演算の出力にマルチレイヤーパーセプトロン（MLP）を適用し、非線形な相互作用を学習し、確率推定のためのシグモイド出力を得る。
• 内積、外積、サブネットワーク演算を含む複数の演算タイプをサポートし、それらを組み合わせることも可能である。
• 各特徴に対して共有された埋め込み行列を用いるが、各演算ごとに異なる変換を適用することで、演算固有の表現学習を実現する。
• 実世界の広告クリック・コンversionデータセットを用いて、CTR/CVR予測タスクに本モデルを適用し、評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 演算固有の埋め込みを学習することで、ユーザー応答予測における特徴表現学習が向上するか？
• RQ2 各演算ごとに埋め込みを分離することで、共有表現と比較してCTR/CVR予測の性能が向上するか？
• RQ3 既存モデルと比較して、ONNはオンライン学習環境でどのように性能を発揮するか？
• RQ4 内積、外積などの演算のうち、性能と計算コストのバランスが最も良いのはどれか？
• RQ5 ONNは、オフラインおよびオンライン学習を含む、異なるデータセットや学習環境において汎用性を示せるか？

主な発見

• ONNは、CriteoおよびTencent Adデータセットの両方において、logloss、AUC、RMSEの観点で、SOTAモデルを一貫して上回った。
• 内積と外積の組み合わせが最良の性能を示し、Criteoではloglossが0.43541、Tencent Adでは0.10502を記録した。
• ベースラインモデルと比較してONNは収束が早く、オンライン学習環境でも優れた性能を示しており、リアルタイムシステムへの適性が顕著に表れた。
• サブネットワーク演算は競争力のある結果を示し、Criteoデータセットでは最高のAUC（0.81178）を達成した。これは、複雑な相互作用モデリングに有効である可能性を示唆している。
• 計算コストが最も低く、性能と効率のバランスが最も良いのは、内積演算のみの設定であり、全体的な最良の性能を発揮した。
• ONNは、Tencent Social Advertising College Algorithm Competitionで優勝を達成し、実世界での有効性が裏付けられた。