[논문 리뷰] Cross Device Matching for Online Advertising with Neural Feature Ensembles : First Place Solution at CIKM Cup 2016

Phan, Minh C., Yi Tay외 1명|arXiv (Cornell University)|2016. 10. 23.

Sentiment Analysis and Opinion Mining참고 문헌 2인용 수 8

한 줄 요약

이 논문은 CIKM 컵 2016에서 크로스 디바이스 사용자 매칭에 대한 첫 번째 장소 솔루션을 제시하며, 신경망 특징 앙상블과 쌍별 분류를 활용한다. 비지도 학습 Doc2Vec 임베딩과 수작업 특징, XGBoost 분류기를 조합함으로써, 효과적인 후보 필터링 및 추론 기법을 통해 F1 스코어 0.4204를 달성하였으며, 기준 모델들을 크게 능가하였다.

ABSTRACT

We describe the 1st place winning approach for the CIKM Cup 2016 Challenge. In this paper, we provide an approach to reasonably identify same users across multiple devices based on browsing logs. Our approach regards a candidate ranking problem as pairwise classification and utilizes an unsupervised neural feature ensemble approach to learn latent features of users. Combined with traditional hand crafted features, each user pair feature is fed into a supervised classifier in order to perform pairwise classification. Lastly, we propose supervised and unsupervised inference techniques.

연구 동기 및 목표

• 브라우징 로그 데이터만을 사용하여 여러 디바이스를 통해 동일한 사용자를 식별하는 문제를 해결한다.
• 후보 쌍 생성을 위한 기준 모델(예: TF-IDF, KNN)을 초월하여 크로스 디바이스 사용자 매칭에서의 성능을 향상시킨다.
• 비지도 신경망 특징 학습과 지도 학습 분류를 조합한 안정적인 프레임워크를 개발하여 쌍별 사용자 매칭을 수행한다.
• 최종 후보 선택을 정교화하기 위해 지도 학습 및 비지도 추론 기법을 최적화하여 성능을 향상시킨다.
• 경쟁 제약 조건 하에서 CIKM 컵 2016 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 F1 스코어에서 뛰어난 성과를 내는 데 목표를 두고 있다.

제안 방법

• 다양한 URL 경로 수준(h=0에서 h=3)에서 사용자 클릭스트림 시퀀스를 기반으로 히에라르키컬 Doc2Vec 모델을 훈련하여 의미론적 사용자 표현을 학습한다.
• Doc2Vec 및 TF-IDF 임베딩에 대해 k-최근접 이웃(k=18)을 적용하여 초깃값 후보 사용자 쌍을 생성한다.
• 각 후보 쌍에 대해 수작업 특징(예: 공유 도메인, 시간적 근접성 등)과 학습된 신경망 특징을 조합한다.
• 레이블이 부여된 훈련 쌍(506,136개)을 기반으로 XGBoost 분류기를 훈련시켜 쌍별 분류 및 후보 쌍 순위 매기기를 수행한다.
• 지도 학습 및 비지도 추론을 적용: 높은 신뢰도를 가진 쌍을 이용해 전이 폐쇄를 통해 새로운 매칭을 추론하며, 크기가 ≤5인 클러스터에 한해 제한한다.
• 분류기 결과 및 추론 결과에서 상위 랭크된 쌍을 통합하여 최종 후보 선택을 수행하며, 유일한 쌍 중 상위 120,000개를 선택한다.

실험 결과

연구 질문

• RQ1 클릭스트림 데이터에서 비지도 신경망 특징 학습이 기존 TF-IDF 기준 모델에 비해 크로스 디바이스 사용자 매칭 성능을 크게 향상시킬 수 있는가?
• RQ2 쌍별 분류 프레임워크 내에서 신경망 임베딩과 수작업 특징의 조합이 사용자 매칭에 얼마나 효과적인가?
• RQ3 높은 신뢰도를 가진 쌍에 기반한 전이 추론이 거짓 양성(false positives)을 유발하지 않으면서 최종 F1 스코어를 얼마나 향상시킬 수 있는가?
• RQ4 대규모 사용자 매칭 환경에서 후보 생성의 재현율과 분류 성능 사이의 최적의 균형은 무엇인가?
• RQ5 이 작업에서 다른 분류기(XGBoost, RF, LSTM 등)는 F1 스코어, 훈련 시간, 확장성 측면에서 어떻게 비교되는가?

주요 결과

• 3,500개의 트리로 구성된 XGBoost 분류기와 복합 특징을 사용한 결과, 최종 경쟁 리더보드에서 F1 스코어 0.4204를 기록하여 최고 성능 달성.
• 비지도 추론 기법을 적용함으로써 F1 스코어가 0.4155에서 0.4204로 상승하여 핵심적인 성능 향상을 입증.
• 히에라르키컬 Doc2Vec 임베딩의 사용이 TF-IDF + KNN 기준 모델(F1 0.065)에 비해 절대 F1 스코어 기준로 750% 이상 향상시켜 뛰어난 성능을 보였다.
• 로컬 개발 세트에서 XGBoost는 랜덤 포레스트(F1 0.3832) 및 MLP(F1 0.2563)를 모두 능가하여 성능이 뛰어났다.
• LSTM-RNN 모델은 이론적으로 잠재력이 있었지만, 높은 훈련 시간(2일)과 불안정성으로 인해 기각되었으며.
• 최종 제출물은 최적화된 특징 공학 및 추론 기법을 적용한 단일 XGBoost 모델만을 사용하여, 120,000개의 쌍을 제출함으로써 최고 성능 달성.