[論文レビュー] Predicting purchasing intent: Automatic Feature Learning using Recurrent Neural Networks

Humphrey Sheil, Omer Rana+1 more|arXiv (Cornell University)|Jul 21, 2018

Consumer Market Behavior and PricingBusiness, Management and Accounting参考文献 28被引用数 18

ひとこと要約

本論文は、手動による特徴工学を必要とせず、学習可能な埋め込みを用いた長短期間記憶（LSTM）ネットワークを用いた深層学習アプローチを提案し、Eコマースにおけるユーザーの購入意図を予測する。モデルは1つのベンチマークで最先端性能の98.4％を達成し、別のベンチマークではそれを上回り、RNNによる自動特徴学習が勾配ブースティングマシンのような従来の手法と同等またはそれを上回ることを示している。また、分野特有の特徴工学への依存を低減している。

ABSTRACT

We present a neural network for predicting purchasing intent in an Ecommerce setting. Our main contribution is to address the significant investment in feature engineering that is usually associated with state-of-the-art methods such as Gradient Boosted Machines. We use trainable vector spaces to model varied, semi-structured input data comprising categoricals, quantities and unique instances. Multi-layer recurrent neural networks capture both session-local and dataset-global event dependencies and relationships for user sessions of any length. An exploration of model design decisions including parameter sharing and skip connections further increase model accuracy. Results on benchmark datasets deliver classification accuracy within 98% of state-of-the-art on one and exceed state-of-the-art on the second without the need for any domain / dataset-specific feature engineering on both short and long event sequences.

研究の動機と目的

• Eコマースのユーザー意図予測において、広範で分野特有の特徴工学への依存を低減すること。
• 生のクリックストリームデータから表現を自動で学習する深層学習モデルの開発。
• RNNに学習可能な埋め込みを組み合わせたモデルが、勾配ブースティングマシンのような最先端モデルと同等またはそれを上回る性能を達成できるかどうかの評価。
• 異なるセッション長の分布を示すEコマースデータセット間でのモデルの汎化性能の評価。
• 最小限のリソース要件で実現可能なハードウェア効率の良い深層学習モデルが、標準的な産業手法と同等の性能を達成できることの実証。

提案手法

• Eコマースセッション内の順序的なユーザーインタラクションをモデル化するために、マルチレイヤーの長短期間記憶（LSTM）ネットワークを用いる。
• カテゴリカルなアイテム、数量、固有のインスタンスを共通のベクトル空間に表現するためのトレーニング可能な埋め込み層を採用する。
• 時間ステップ間でパラメータ共有を適用することで、短いシーケンスにおける汎化性能を向上させ、過学習を軽減する。
• 勾配の流れを改善し、深層アーキテクチャにおける学習の安定性を高めるためにスキップ接続を活用する。
• エンドツーエンドの誤差逆伝播を活用し、埋め込みとネットワーク重みを同時に更新可能にする。
• 1枚のGPU上で、エポックの早期停止とAdam最適化を用い、交差エントロピー損失関数でモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な埋め込みを備えた再帰的ニューラルネットワークは、手動による特徴工学なしに、ユーザーの購入意図予測で最先端性能を達成できるか？
• RQ2 提案されたRNNモデルの性能は、ベンチマークEコマースデータセット上で勾配ブースティングマシンと比べてどの程度か？
• RQ3 スキップ接続やパラメータ共有といったアーキテクチャ的選択が、モデルの精度と学習の安定性に与える影響は何か？
• RQ4 特に単一クリックセッションが優勢なデータセットにおいて、モデルの汎化性能はどの程度か？
• RQ5 最小限のハードウェア要件で高い性能を維持できるか。実運用への適用可能性を高めるか？

主な発見

• 提案されたLSTMモデルは、特徴工学を一切行わずに、最初のベンチマークデータセットで最先端のAUC性能の98.4％を達成した。
• 2番目のデータセットでは、最先端性能を上回り、AUC 0.837を達成したのに対し、GBMベースラインは0.834であった。
• 埋め込み層を固定化すると、AUCは0.808に低下し、学習時間は3倍に増加した。これはエンドツーエンド学習の重要性を示している。
• 特に単一クリックセッションにおいて、GBMが滞在時間やシーケンスコンテキストといった特徴を欠いているのに対し、モデルはそれらを効果的に学習でき、性能で上回った。
• 1～2GBのRAMを搭載した1枚のGPUで、約6時間で学習が完了し、150台のマシンを必要とした先行研究と比べてリソース要件を著しく削減した。
• モデルはデータセット間で良好に汎化し、セッション長の分布が著しく異なるデータセットに対しても、強力な性能を維持した。