[論文レビュー] Learning Continuous User Representations through Hybrid Filtering with doc2vec

Simon Stiebellehner, Jun Wang+1 more|arXiv (Cornell University)|Dec 31, 2017

Recommender Systems and Techniques参考文献 32被引用数 8

ひとこと要約

本稿では、アプリ使用履歴およびアプリメタデータから連続的ユーザー表現を学ぶためにdoc2vecを用いた、user2vecおよびcontext2vecという新規ハイブリッドフィルタリング手法を提案する。ユーザー行動とコンテンツ特徴を同時にモデル化することにより、類似ユーザーモデリングの性能が顕著に向上し、下流タスクにおいて直接的な特徴工学が上回る結果を示し、ベースライン比で相対的にAUC-ROCが2.24%向上した。

ABSTRACT

Players in the online ad ecosystem are struggling to acquire the user data required for precise targeting. Audience look-alike modeling has the potential to alleviate this issue, but models' performance strongly depends on quantity and quality of available data. In order to maximize the predictive performance of our look-alike modeling algorithms, we propose two novel hybrid filtering techniques that utilize the recent neural probabilistic language model algorithm doc2vec. We apply these methods to data from a large mobile ad exchange and additional app metadata acquired from the Apple App store and Google Play store. First, we model mobile app users through their app usage histories and app descriptions (user2vec). Second, we introduce context awareness to that model by incorporating additional user and app-related metadata in model training (context2vec). Our findings are threefold: (1) the quality of recommendations provided by user2vec is notably higher than current state-of-the-art techniques. (2) User representations generated through hybrid filtering using doc2vec prove to be highly valuable features in supervised machine learning models for look-alike modeling. This represents the first application of hybrid filtering user models using neural probabilistic language models, specifically doc2vec, in look-alike modeling. (3) Incorporating context metadata in the doc2vec model training process to introduce context awareness has positive effects on performance and is superior to directly including the data as features in the downstream supervised models.

研究の動機と目的

• 類似ユーザーモデリングのためのデータ品質および数量を向上させることで、オンライン広告におけるユーザー表現を改善すること。
• リアルタイム入札（RTB）環境におけるユーザーデータの限界を、アプリ使用履歴およびメタデータを活用することで克服すること。
• doc2vecのようなニューラル確率的言語モデルが予測モデリングに適した優れたユーザー埋め込みを生成できるかどうかを評価すること。
• doc2vec学習時に文脈的メタデータを統合することで、特徴連結と比較して下流タスクの性能が向上するかどうかを調査すること。

提案手法

• ユーザーのアプリ使用シーケンスにdoc2vecを適用して連続的ユーザー埋め込みを生成する、ハイブリッドフィルタリング手法user2vecを提案する。
• user2vecを拡張し、アプリメタデータ（例：ジャンル、価格、評価）をdoc2vec学習プロセスに直接統合することで、context2vecを導入する。
• ユーザー-アプリ相互作用に基づく協調フィルタリングと、アプリの説明文およびメタデータを用いたコンテンツベースフィルタリングをハイブリッドモデリングによって統合する。
• 比較のためのベースラインとしてTF-IDFを用い、ユーザー単位のアプリ説明文に適用し、doc2vecベースの表現と組み合わせる。
• 性別および年齢分類タスクにおける予測性能を評価するために、教師あり機械学習モデル（例：XGBoost）を採用する。
• 負例サンプリングとスイープグラムアーキテクチャを用いて、ユーザーおよびアイテムの密なベクトル表現を学習するdoc2vecモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 R1: アプリ使用履歴および説明文からdoc2vecベースのuser2vecを学習することで、最先端手法と比較して推薦品質が向上するか？
• RQ2 R2: doc2vec学習プロセスにアプリメタデータを統合することで（context2vecとして）、メタデータを別個の特徴として扱うのと比較して、より優れたユーザー表現が得られるか？
• RQ3 R3: 性別および年齢予測の類似ユーザーモデリングにおいて、ハイブリッドフィルタリングモデル（例：TF-IDF + d2v:CF）の性能は、ベースライン手法と比較してどうなるか？

主な発見

• user2vecが生成する埋め込み表現は、現在の最先端技術を顕著に上回り、優れたユーザー表現学習を示した。
• TF-IDFとd2v:CF（協調フィルタリング）を組み合わせたハイブリッドフィルタリングアプローチは、ベースラインモデル比で相対的に平均AUC-ROCが2.23%向上した。
• メタデータをdoc2vec学習プロセスに統合するcontext2vecは、メタデータを直接特徴として含めるのと比較して、下流の予測性能をより良くし、相対的にAUC-ROCが2.24%向上した。
• 最も優れた性能を示したモデルは、TF-IDF + d2v:CF + メタデータであり、ゼロベースライン比で相対的に2.24%、絶対的に1.27%のAUC-ROC向上を達成した。
• doc2vec学習時に文脈情報を統合することが、特徴工学よりも優れていたことから、エンドツーエンドの文脈対応表現学習の利点が明らかになった。