[論文レビュー] Ensemble Methods for Personalized E-Commerce Search Challenge at CIKM Cup 2016

Chen Wu, Ming Yan+1 more|arXiv (Cornell University)|Aug 15, 2017

Web Data Mining and Analysis参考文献 12被引用数 16

ひとこと要約

本論文は、CIKMカップ2016チャレンジにおけるパーソナライズド・インターネット通販検索ランク付けのためのスタックドアンサンブル学習手法を提示する。この手法は、統計的特徴、クエリ・アイテム特徴、セッションレベル特徴を複数のモデル（ロジスティック回帰、勾配ブースティング木、RankSVM、および深層マッチモデル）と組み合わせ、その後メタ学習によるスタッキングを適用することで、すべての評価指標で最良のパフォーマンスを達成した。

ABSTRACT

Personalized search has been a hot research topic for many years and has been widely used in e-commerce. This paper describes our solution to tackle the challenge of personalized e-commerce search at CIKM Cup 2016. The goal of this competition is to predict search relevance and re-rank the result items in SERP according to the personalized search, browsing and purchasing preferences. Based on a detailed analysis of the provided data, we extract three different types of features, i.e., statistic features, query-item features and session features. Different models are used on these features, including logistic regression, gradient boosted decision trees, rank svm and a novel deep match model. With the blending of multiple models, a stacking ensemble model is built to integrate the output of individual models and produce a more accurate prediction result. Based on these efforts, our solution won the champion of the competition on all the evaluation metrics.

研究の動機と目的

• ユーザーの検索、閲覧、購入行動に基づき、関連性を予測し、アイテムを再ランク付けすることで、パーソナライズド・インターネット通販検索の課題に対処する。
• 学習-ランク付け技術を用いて、「クエリあり」と「クエリなし」の両状況においてランク付けパフォーマンスを向上させる。
• きめ細やかな特徴工学とモデルアンサンブルを通じて、ユーザーのカテゴリごとのデータスパarsityと分布シフトの問題を克服する。
• 多様なユーザー行動を含む大規模な匿名化されたインテリア通販データセットにおいて、最先端のパフォーマンスを達成する。
• スタックドアンサンブル手法が、多様なモデルを統合することで、ランク付けタスクにおける優れた一般化性能を実現できることを実証する。

提案手法

• 統計的特徴（例：クリックスルーレート）、クエリ・アイテム特徴（例：語彙的重複度）、セッションレベル特徴（例：ユーザー行動シーケンス）の3種類の特徴を抽出した。
• 複数のベースモデルを学習：ロジスティック回帰（LR）、勾配ブースティング木（GBDT）、RankSVM、および意味的マッチングを目的とした新規深層マッチモデル（DMM）。
• 個々のモデルの予測値を入力として用いるメタラーナー（GBDT）に供給するスタッキングアンサンブルフレームワークを適用し、最終的なランク付けを生成した。
• 「クエリなし」状況では、検証NDCGに基づき、各カテゴリごとに最高性能を示すLRモデルを選択するためのモデルセレクタを導入した。
• フィードバック信号を用いたペairワイズ学習により、深層マッチモデルを学習し、クエリ・アイテム間の意味的相互作用を捉えた。
• 最終スコアを、「クエリあり」（80%）と「クエリなし」（20%）の両状況におけるNDCGスコアの重み付き和として最適化した。

実験結果

リサーチクエスチョン

• RQ1 統計的特徴、クエリ・アイテム特徴、セッションレベル特徴といった多様な特徴タイプを、パーソナライズド検索ランク付けの向上に効果的に統合する方法は何か？
• RQ2 従来のモデル（例：LR、GBDT）と深層学習モデル（例：DMM）の間で、ユーザーの好みを捉える上で果たす相対的貢献度はどの程度か？
• RQ3 複雑で現実世界に即したインテリア通販環境において、スタッキングアンサンブル学習が個々のモデルを上回るランク付けパフォーマンスを実現する程度はどの程度か？
• RQ4 低データ環境下において、カテゴリごとに自動化されたモデル選択を実現することで、「クエリなし」状況でのロバストネスを維持できるか？
• RQ5 メタラーナーは、多様なモデルの予測値を効果的に統合し、いずれのモデルよりも優れた性能を「クエリあり」と「クエリなし」両状況で達成できるか？

主な発見

• アンサンブルモデルは検証セットで最高のNDCGスコア0.4238を達成し、すべての個別モデルを上回った。
• ロジスティック回帰単体が最高の単一モデル性能（NDCG = 0.4175）を示し、多様な特徴タイプを統合する能力の高さを示した。
• 深層マッチモデル（DMM）は「クエリあり」セットでNDCG 0.5077を達成し、限られたデータでも意味的関連性を効果的に捉える能力を示した。
• スタッキングアンサンブルは、「クエリあり」状況でNDCGを0.5548、「クエリなし」状況で0.3911まで向上させ、モデルの相補性の有効性を裏付けた。
• 「クエリなし」状況におけるモデルセレクタは、各カテゴリごとに最高性能を示すLRモデルを効果的に選択し、カテゴリ固有のランク付け精度を向上させた。
• 最終的なソリューションは、CIKMカップ2016のすべての評価指標で1位を獲得し、アンサンブルアプローチの有効性を裏付けた。