[論文レビュー] Large Scale Purchase Prediction with Historical User Actions on B2C Online Retail Platform

Yuyu Zhang, Liang Pang+2 more|arXiv (Cornell University)|Aug 27, 2014

Human Mobility and Location-Based Analysis被引用数 9

ひとこと要約

本論文は、TmallのB2Cプラットフォームで5億5000万件以上のユーザ行動記録を用いて、大規模な購入予測を実現する2段階の機械学習アプローチを提示している。勾配ブースティング回帰木、ロジスティック回帰、ランダムフォレスト、グローバルスコアリングモデルを組み合わせ、線形回帰とアンサンブルを用いてブレンドし、F₁スコア0.0611を達成。これはTmall Recommendation Prize 2014コンペティションで7,276チーム中7位という成績であった。

ABSTRACT

This paper describes the solution of Bazinga Team for Tmall Recommendation Prize 2014. With real-world user action data provided by Tmall, one of the largest B2C online retail platforms in China, this competition requires to predict future user purchases on Tmall website. Predictions are judged on F1Score, which considers both precision and recall for fair evaluation. The data set provided by Tmall contains more than half billion action records from over ten million distinct users. Such massive data volume poses a big challenge, and drives competitors to write every single program in MapReduce fashion and run it on distributed cluster. We model the purchase prediction problem as standard machine learning problem, and mainly employ regression and classification methods as single models. Individual models are then aggregated in a two-stage approach, using linear regression for blending, and finally a linear ensemble of blended models. The competition is approaching the end but still in running during writing this paper. In the end, our team achieves F1Score 6.11 and ranks 7th (out of 7,276 teams in total).

研究の動機と目的

• 大規模なユーザ行動データを有するB2C型ECプラットフォームにおける大規模購入予測の課題に対処すること。
• 分散環境で5億5000万件以上の行動記録を処理できる、堅牢でスケーラブルな機械学習パイプラインを構築すること。
• 2段階のブレンドとアンサンブル戦略を用いて複数のモデルを統合することで、予測性能を向上させること。
• 時間的変化を捉える時間的・行動的特徴を設計し、ユーザーの意思決定とブランドへの傾倒度を時間経過とともに捉えること。
• 明示的な訓練/テスト分割を用いない実世界の推薦設定において、F₁スコアを最適化し、適合性と再現率のバランスを取ること。

提案手法

• 回帰、分類、グローバルスコアリングモデルを用いて、標準的な機械学習問題として購入予測を定式化する。
• 固定時間窓とスライディング時間窓を用いた時間依存型特徴工学を実施し、ユーザ行動のダイナミクスを捉える。
• ユーザ、ブランド、ペアレベルの行動に基づいて、カウント、レート、フラグ、グローバル特徴の包括的セットを設計する。
• 個々のモデル予測をグループ単位でロジスティック回帰でブレンドし、過学習を低減し一般化性能を向上させる。
• ブレンド済みモデルの線形アンサンブルを適用して、さらなる予測精度の向上を図る。
• 過学習を避けるために、ルールに基づくイン사이트を直接予測に組み込むのではなく、バイナリフラグ特徴として統合する。

実験結果

リサーチクエスチョン

• RQ1 B2C型ECプラットフォームで5億5000万件以上のユーザ行動記録を処理できる、スケーラブルな機械学習パイプラインをどのように設計できるか？
• RQ2 ユーザーの意思決定とブランドへの傾倒度を、将来の購入予測に最適に捉える特徴工学戦略は何か？
• RQ3 2段階のモデルブレンドとアンサンブルアプローチは、個々のモデルと比較してF₁スコアをどのように向上させるか？
• RQ4 ユーザ行動の時間的パターン（例：連続購入）は、将来の購買行動をどれほど効果的に予測できるか？
• RQ5 過学習を避けるために、ルールベースのインサイトを学習モデルに効果的に統合する方法は何か？

主な発見

• チームは、Tmall Recommendation Prize 2014コンペティションで7,276チーム中7位となり、F₁スコア0.0611を達成した。
• 予測ウィンドウの最初の3日間における購入予測性能が著しく高く、時間の経過とともに性能が低下した。
• ロジスティック回帰を用いた個々のモデルのブレンドにより、スタンドアロンモデルと比較して一般化性能が向上し、過学習が低減した。
• ルールベースのインサイトをバイナリフラグ特徴として統合した場合、直接予測値をモデル出力に加えるよりも優れた性能を示した。
• 初回/最終アクティブ日、最終購入日、アクティブ期間長といったグローバル特徴は、予測に強力で情報豊富なシグナルを提供した。
• グローバルスコアリングにおける時間割引関数により、最近の行動が優先され、モデルの新鮮さへの感受性が向上した。