[論文レビュー] Cross Device Matching for Online Advertising with Neural Feature Ensembles : First Place Solution at CIKM Cup 2016

Phan, Minh C., Yi Tay+1 more|arXiv (Cornell University)|Oct 23, 2016

Sentiment Analysis and Opinion Mining参考文献 2被引用数 8

ひとこと要約

本論文は、クリックストリームログデータに基づくクロスデバイスユーザーマッチングを目的としたCIKMカップ2016チャレンジにおける1位のソリューションを提示する。ニューラル特徴量アンサンブルとペairワイズ分類を活用し、教師なしのDoc2Vec埋め込みと手作業特徴量、XGBoost分類器を組み合わせることで、有効な候補フィルタリングと推論手法を効果的に適用し、F1スコア0.4204を達成。これはベースラインを著しく上回る結果である。

ABSTRACT

We describe the 1st place winning approach for the CIKM Cup 2016 Challenge. In this paper, we provide an approach to reasonably identify same users across multiple devices based on browsing logs. Our approach regards a candidate ranking problem as pairwise classification and utilizes an unsupervised neural feature ensemble approach to learn latent features of users. Combined with traditional hand crafted features, each user pair feature is fed into a supervised classifier in order to perform pairwise classification. Lastly, we propose supervised and unsupervised inference techniques.

研究の動機と目的

• クリックストリームログデータのみを用いて、複数のデバイスに跨る同じユーザを同定する課題に対処すること。
• 候補ペア生成のためのベースライン手法（TF-IDF や KNN）を改善すること。
• 教師あり分類と教師なしニューラル特徴量学習を統合した、ペアワイズユーザーマッチングに適した堅牢なフレームワークの構築。
• 最終的な候補選定を最適化するため、教師ありおよび教師なしの推論手法を活用して性能を向上させること。
• コンペティションの制約下で、特にF1スコアにおいて最先端の結果を達成すること。

提案手法

• ユーザのクリックストリームシーケンスを、URLパスのレベル（h=0からh=3）ごとに階層的Doc2Vecモデルに学習させ、意味的なユーザ表現を学習する。
• Doc2VecおよびTF-IDF埋め込みに対してk近傍法（k=18）を適用し、初期の候補ユーザペアを生成する。
• 各候補ペアに対して、共通ドメインや時間的近接性などの手作業特徴量と、学習されたニューラル特徴量を組み合わせる。
• ラベル付き学習ペア（506,136組）を用いてXGBoost分類器を訓練し、ペアワイズ分類と候補ペアのランク付けを実行する。
• 教師ありおよび教師なしの推論を適用：高信頼度ペアを用いて、推移的閉包に基づき新たなマッチングを推論し、サイズ≤5のクラスタに限定する。
• 分類器の出力と推論結果から得た上位ペアを統合し、最終的な候補選定として、ユニークなペアから上位120,000組を選択する。

実験結果

リサーチクエスチョン

• RQ1 クリックストリームデータからの教師なしニューラル特徴量学習は、従来のTF-IDFベースラインに比べ、クロスデバイスユーザーマッチングの性能を顕著に向上させ得るか？
• RQ2 ペアワイズ分類フレームワークにおいて、ニューラル埋め込みと手作業特徴量の組み合わせは、ユーザーマッチングにどの程度有効か？
• RQ3 高信頼度ペアに基づく推移的推論は、誤検出を引き起こさずに、最終的なF1スコアをどの程度向上させ得るか？
• RQ4 大規模ユーザーマッチングにおいて、候補生成の再現率と分類性能の最適なバランスは何か？
• RQ5 LSTMなどの異なる分類器（XGBoost、RF、LSTMなど）は、このタスクにおいてF1スコア、学習時間、スケーラビリティの観点でどのように比較されるか？

主な発見

• 3,500本のツリーを用いたXGBoost分類器と組み合わせた特徴量が、最終コンペティションリーダーボードで最高のF1スコア0.4204を達成した。
• 教師なし推論手法の適用により、F1スコアは0.4155から0.4204に上昇し、顕著な性能向上が確認された。
• 階層的Doc2Vec埋め込みの使用は、TF-IDF + KNNベースライン（F1 0.065）を上回り、絶対的F1スコアで750%以上の向上を達成した。
• ローカル開発セットにおいて、XGBoostはランダムフォレスト（F1 0.3832）やMLP（F1 0.2563）を上回る性能を示した。
• LSTM-RNNモデルは、理論的潜在能力はあったものの、学習に2日間を要し、不安定であったため、開発から放棄された。
• 最終提出では、最適化された特徴工学と推論手法を用いた単一のXGBoostモデルのみを採用し、120,000組のペアを提出することで、最高のパフォーマンスを達成した。