[論文レビュー] Classification and Learning-to-rank Approaches for Cross-Device Matching at CIKM Cup 2016

Nam Khanh Tran|arXiv (Cornell University)|Dec 20, 2016

Industrial Vision Systems and Defect Detection参考文献 5被引用数 6

ひとこと要約

本論文は、二値分類手法（アンサンブル学習を用いたもの）と、グリーディ予測アルゴリズムを用いたラーニング・トゥ・ランク手法の2つのアプローチを、クロスデバイスユーザー照合に提案している。特に予測セットサイズを最適化したラーニング・トゥ・ランク手法が、分類ベースの手法を上回り、CIKMカップ2016のテストリーダーボードでF1スコア0.36110を達成した。これは、閲覧履歴およびクリックデータを用いて複数デバイスに跨るユーザーを同定する上で優れた性能を示している。

ABSTRACT

In this paper, we propose two methods for tackling the problem of cross-device matching for online advertising at CIKM Cup 2016. The first method considers the matching problem as a binary classification task and solve it by utilizing ensemble learning techniques. The second method defines the matching problem as a ranking task and effectively solve it with using learning-to-rank algorithms. The results show that the proposed methods obtain promising results, in which the ranking-based method outperforms the classification-based method for the task.

研究の動機と目的

• オンライン広告分野における複数デバイスに跨るユーザーIDを正確にリンクする課題に対処すること。
• 匿名化された閲覧ログおよびクリックデータからマッチングするユーザープロファイルをスケーラブルかつ効率的に特定するための手法を開発すること。
• 二値分類法とラーニング・トゥ・ランク法の両者がクロスデバイス照合においてどれほど効果的であるかを比較すること。
• 共有事実およびドメインを活用して予測セットの生成を最適化し、計算コストを低減すること。
• アンサンブル学習およびグリーディアルゴリズムに基づく予測順序付けによるモデル性能の向上を図ること。

提案手法

• 共有事実およびドメインから抽出した特徴量を用いて、xgboost、ニューラルネットワーク、ランダムフォレストを用いたアンサンブル学習を適用した二値分類タスクとしてクロスデバイス照合を定式化する。
• 全ユーザーのプールからランダムにサンプリングするのではなく、共有事実／ドメインに基づくネガティブサンプリング戦略を採用し、現実的で信頼性の高いネガティブトレーニングペアを生成する。
• ユーザー対を類似度で順序付けするラーニング・トゥ・ランクの問題として定式化し、URLおよびタイトルのトークンから得た特徴量を用いてxgboostによる順序付けを実行する。
• 2つの制約を満たすように、グリーディアルゴリズムを用いて最終的な予測を生成する：(1) 各テストユーザーは少なくとも1人の他のユーザーとリンクされなければならない、(2) 連結成分の分布がトレーニングデータと類似している必要がある。
• 共有事実（URLおよびタイトル）と共有ドメインに基づく特徴工学を用いて、分類および順序付けモデルの入力ベクトルを構築する。
• バリデーションセットとテストセットにそれぞれ167,055および215,307個の正例ペアを用意し、F1スコアを最大化するように予測セットサイズをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 共有閲覧行動を用いたクロスデバイスユーザー照合において、アンサンブル学習は二値分類性能を向上させ得るか？
• RQ2 ラーニング・トゥ・ランクアプローチは、二値分類法を上回り、クロスデバイスユーザーIDを同定する上で優れた性能を示すか？
• RQ3 グリーディアルゴリズムによる予測セット生成は、トレーニンググラフの構造的性質を保持するのにどの程度効果的か？
• RQ4 予測ペア数のチューニングが、最終的なリーダーボード順位におけるF1スコアの向上にどの程度寄与するか？
• RQ5 共有事実およびドメインは、異なるデバイスに跨るマッチング／非マッチングユーザーペアを区別する上で、どの程度寄与するか？

主な発見

• ラーニング・トゥ・ランク手法は、CIKMカップ2016のテストリーダーボードでF1スコア0.36110を達成し、すべての分類ベース手法を上回った。
• チューニングされたペア数（rank2-tuned）を用いたグリーディ予測アルゴリズムが、すべての提出物の中で最高のF1スコアを記録し、予測セットサイズの最適化の重要性を示した。
• 分類アプローチにおけるスタッキングアンサンブル学習により、個々のモデルよりもF1スコアが向上した。特に、レイヤー2ではxgboostが最良の性能を示した。
• 順序付けベースの手法は分類ベースの手法を上回り、F1スコアは0.42038（Rank1）対0.29229（分類ベースのベースライン）であった。
• トレーニングデータにおける共有事実およびドメインの分布を分析したところ、98.5%のユーザー対が少なくとも1つの事実またはドメインを共有しており、このような特徴量をモデル化に活用することが有効であることを裏付けた。
• 提案されたネガティブサンプリング手法により、事実やドメインを共有するユーザーに限定してネガティブサンプルを生成したため、350万件のトレーニングペアを効率的に生成でき、計算コストの低減に寄与した。