[논문 리뷰] Multi-Manifold Learning for Large-scale Targeted Advertising System

Kyuyong Shin, Youngjin Park외 2명|arXiv (Cornell University)|2020. 07. 05.

Complex Network Analysis Techniques참고 문헌 26인용 수 6

한 줄 요약

이 논문은 사용자 및 광고 임베딩을 다수의 학습 가능한 쌍곡 평면에 매핑하는 다중 다각형 학습(Multi-Manifold Learning) 프레임워크를 제안한다. 각 평면은 사용자 클러스터 중심에 위치한다. 사용자-광고 상호작용의 계층적 구조를 활용함으로써, 공개 및 산업 규모의 데이터셋에서 유클리드 및 단일 쌍곡 기반 모델 대비 예측 정확도와 추천 다양성을 향상시킨다.

ABSTRACT

Messenger advertisements (ads) give direct and personal user experience yielding high conversion rates and sales. However, people are skeptical about ads and sometimes perceive them as spam, which eventually leads to a decrease in user satisfaction. Targeted advertising, which serves ads to individuals who may exhibit interest in a particular advertising message, is strongly required. The key to the success of precise user targeting lies in learning the accurate user and ad representation in the embedding space. Most of the previous studies have limited the representation learning in the Euclidean space, but recent studies have suggested hyperbolic manifold learning for the distinct projection of complex network properties emerging from real-world datasets such as social networks, recommender systems, and advertising. We propose a framework that can effectively learn the hierarchical structure in users and ads on the hyperbolic space, and extend to the Multi-Manifold Learning. Our method constructs multiple hyperbolic manifolds with learnable curvatures and maps the representation of user and ad to each manifold. The origin of each manifold is set as the centroid of each user cluster. The user preference for each ad is estimated using the distance between two entities in the hyperbolic space, and the final prediction is determined by aggregating the values calculated from the learned multiple manifolds. We evaluate our method on public benchmark datasets and a large-scale commercial messenger system LINE, and demonstrate its effectiveness through improved performance.

연구 동기 및 목표

• 대규모 목표 광고에서 계층적 사용자-광고 관계를 포괄하지 못하는 유클리드 공간의 한계를 해결하기 위해.
• 기존의 쌍곡 임베딩 방법에서 단일 다각형 가정이 다양한 사용자 선호도 그룹을 모델링하지 못하는 문제를 해결하기 위해.
• 각 사용자 클러스터 중심에 위치한 다수의 쌍곡 다각형을 구성함으로써 표현 학습을 향상시키기 위해.
• 다각형별 거리 기반 선호도 추정을 통해 예측 정확도와 타겟팅 다양성을 동시에 향상시키기 위해.
• 실제 산업 데이터와 공개 벤치마크에서 프레임워크를 검증하여 단일 도메인을 초월한 일반화 능력을 입증하기 위해.

제안 방법

• 프레임워크는 사용자 임베딩을 클러스터링하여 유도된 사용자 클러스터 중심에 위치한, 학습 가능한 곡률을 가진 다수의 쌍곡 다각형을 구성한다.
• 공유된 가중치를 가진 동일한 신경망 인코더를 사용하여 사용자 및 광고 표현을 각 다각형의 쌍곡 공간에 매핑한다.
• 사용자와 광고의 임베딩 간 기하학적 거리(지오데식 거리)를 기반으로 각 쌍곡 다각형 내에서 사용자의 광고 선호도를 추정한다.
• 최종 예측 점수는 모든 다각형에 걸쳐 선호도 점수를 집계하여 다각도적 관점에서 사용자 선호도를 모델링할 수 있도록 한다.
• 클릭률 예측을 최적화하기 위해 마진 기반 순위 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 다각형 구축 이전에 사용자 임베딩에 대해 클러스터링을 수행하며, 클러스터 수는 분석을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 다수의 쌍곡 다각형을 통해 사용자 및 광고 표현을 모델링할 경우, 단일 다각형 또는 유클리드 기반 모델 대비 타겟 광고 예측 정확도 향상이 이루어지는가?
• RQ2 각 사용자 클러스터 중심에 위치한 다수의 다각형을 사용할 경우, 사용자-광고 임베딩의 다양성과 표현력이 어떻게 향상되는가?
• RQ3 제안된 다중 다각형 학습 프레임워크는 단일 데이터셋을 초월하여 실제 산업 시스템과 공개 벤치마크에 일반화되는가?
• RQ4 사용자 클러스터 수가 추천 시스템의 성능과 다양성에 미치는 영향은 어떠한가?
• RQ5 광고 시스템에서 쌍곡 기하학이 유클리드 공간에 비해 계층적 사용자 선호도를 얼마나 더 잘 포착하는가?

주요 결과

• 제안된 다중 다각형 학습 프레임워크는 LINE 메신저 플랫폼과 MovieLens 벤치마크 양쪽에서 모든 메트릭(RocAuc, Accuracy, Average Precision, Shannon Entropy)에서 최고의 성능을 기록했다.
• 모델은 가장 높은 Shannon 엔트로피 점수를 기록하여, 추천 사용자 그룹의 다양성이 뛰어나 스팸 인식 감소 및 사용자 만족도 향상에 기여함을 시사한다.
• 클러스터 수가 증가함에 따라 성능은 T=5까지 향상되며, 이후 정확도는 안정화되고 다양성은 계속 증가함을 확인하여 T=5를 최적 설정으로 도출하였다.
• 임베딩 시각화 결과는 관련 광고가 각 다각형의 중심 쪽으로 끌려오고, 관련이 없는 광고들은 외곽으로 밀려나는 경향을 보여, 효과적인 계층적 구조 학습이 이루어졌음을 확인한다.
• MovieLens에서 모델은 최고 또는 2위 성능을 기록하여 산업 데이터셋을 초월한 강력한 일반화 능력을 입증했다.
• MLP 및 HNN 기반 모델 대비 본 연구 방법은 정확도와 다양성 양면에서 뚜렷한 성능 향상을 보이며, 다중 다각형 쌍곡 학습의 효과성을 검증했다.