[論文レビュー] Modelling customer online behaviours with neural networks: applications to conversion prediction and advertising retargeting

Yanwei Cui, Rogatien Tobossi+1 more|arXiv (Cornell University)|Apr 20, 2018

Digital Marketing and Social Media参考文献 16被引用数 15

ひとこと要約

本論文では、デジタルマーケティング分野におけるコンversion予測およびリターゲティングの向上を目的として、畳み込みニューラルネットワーク（CNN）と再帰ニューラルネットワーク（LSTM）を組み合わせたハイブリッドディープラーニングモデルを提案する。ユーザーの検索キーワードとページ名を意味的に埋め込み、RNNが生成したシーケンスに対してモンテカルロシミュレーションを適用することで、次ページ訪問予測の正確性が65.8％に達し、将来的なコンバージョン確率の高精度推定が可能となった。

ABSTRACT

In this paper, we apply neural networks into digital marketing world for the purpose of better targeting the potential customers. To do so, we model the customer online behaviours using dedicated neural network architectures. Starting from user searched keywords in a search engine to the landing page and different following pages, until the user left the site, we model the whole visited journey with a Recurrent Neural Network (RNN), together with Convolution Neural Networks (CNN) that can take into account of the semantic meaning of user searched keywords and different visited page names. With such model, we use Monte Carlo simulation to estimate the conversion rates of each potential customer in the future visiting. We believe our concept and the preliminary promising results in this paper enable the use of largely available customer online behaviours data for advanced digital marketing analysis.

研究の動機と目的

• 手動アナリティクスへの依存を減らすために、ニューラルネットワークを用いた自動的で知的な顧客オンライン行動モデリングシステムの開発。
• ユーザーの検索キーワードとページ名からの意味的意味を捉えることで、デジタルマーケティングにおけるコンバージョン予測の向上。
• シーケンスモデリングとシミュレーションを活用し、リターゲティングキャンペーンにおける正確で個別化されたコンバージョンレート推定の実現。
• 大規模かつ順序付きのオンライン行動データを活用し、高度なデジタルマーケティングアナリティクスを実現。
• ニューラルネットワークをプログラム的広告および強化学習フレームワークに統合する可能性の探求。

提案手法

• 双方向LSTMネットワークが、検索から退出までの顧客訪問の順序的流れをモデル化し、ブラウジング行動における時間的依存関係を捉える。
• CNNレイヤーをユーザーの検索キーワードとページ名に適用し、テキスト入力の表現を向上させる意味的埋め込みを抽出。
• CNNからの単語埋め込みをLSTMに供給することで、文脈を意識した完全なセッション内ジャーニーのモデリングを実現。
• モンテカルロシミュレーションを用いて、初期ユーザー行動からnステップ先の将来訪問シーケンスを生成し、確率的コンバージョンレート推定を可能にする。
• モデル学習には交差エントロピー損失関数を用い、全結合層にドロップアウト（0.5）を適用し、検証データ上でハイパーパramータチューニングを実施。
• 同一のCNN+LSTMモデルを5つアンサンブル化することで、予測のロバスト性と正確性を向上させる平均化処理を実施。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCNN-LSTMアーキテクチャは、顧客のオンラインブラウジング行動の意味的および順序的側面を効果的にモデリングできるか？
• RQ2 検索キーワードとページ名の意味的埋め込みを組み込むことで、次ページ予測の正確性はどの程度向上するか？
• RQ3 学習済みシーケンスに基づくモンテカルロシミュレーションは、個々のユーザーの将来的なコンバージョン確率を信頼性高く推定できるか？
• RQ4 モデルアンサンブルの平均化処理は、複雑で確率的なユーザー行動シーケンスにおける予測パフォーマンスをどの程度向上させるか？
• RQ5 このフレームワークは、プログラム的広告におけるリアルタイムリターゲティングおよび強化学習への応用に拡張可能か？

主な発見

• LSTMオンリーモデルは、検証セットで63.5％の次ページ予測正確性を達成した。
• 入力にCNNベースの意味的埋め込みを追加することで、予測正確性は65.3％に向上した。
• 同一のCNN+LSTMモデルを5つアンサンブル化することで、さらに正確性が65.8％に向上した。
• モデルは、フォーム入力ステップやアポイントメント予約を含む現実的で整合性のある顧客ジャーニーを効果的にシミュレートでき、分野の専門家による妥当性評価も得られた。
• モデルから生成されたモンテカルロシミュレーションは、初期入力が2ステップのみであっても、妥当で行動に整合性のあるシーケンスを生成できた。
• 結果として、自動化されたデジタルマーケティングアプリケーション向けに、複雑で順序付きの顧客行動をニューラルネットワークでモデリングすることが可能であることが示された。