[논문 리뷰] ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding

Zhiqiang Wang, Qingyun She외 2명|arXiv (Cornell University)|2021. 07. 26.

Recommender Systems and Techniques참고 문헌 30인용 수 4

한 줄 요약

이 논문은 입력 인스턴스로부터의 문맥 정보를 사용하여 특징 임베딩을 동적으로 정밀하게 조정하는 새로운 CTR 예측 프레임워크인 ContextNet을 제안한다. 이는 고차원 특징 상호작용을 암묵적으로 모델링할 수 있도록 한다. 비선형 매핑을 갖춘 문맥 임베딩 모듈과 ContextNet 블록을 통합함으로써, ContextNet-PFFN과 ContextNet-SFFN는 DeepFM 및 xDeepFM과 같은 SOTA 모델들을 초월하여 네 개의 실세계 데이터셋에서 최고 수준의 AUC 성능을 달성한다.

ABSTRACT

Click-through rate (CTR) estimation is a fundamental task in personalized advertising and recommender systems and it's important for ranking models to effectively capture complex high-order features.Inspired by the success of ELMO and Bert in NLP field, which dynamically refine word embedding according to the context sentence information where the word appears, we think it's also important to dynamically refine each feature's embedding layer by layer according to the context information contained in input instance in CTR estimation tasks. We can effectively capture the useful feature interactions for each feature in this way. In this paper, We propose a novel CTR Framework named ContextNet that implicitly models high-order feature interactions by dynamically refining each feature's embedding according to the input context. Specifically, ContextNet consists of two key components: contextual embedding module and ContextNet block. Contextual embedding module aggregates contextual information for each feature from input instance and ContextNet block maintains each feature's embedding layer by layer and dynamically refines its representation by merging contextual high-order interaction information into feature embedding. To make the framework specific, we also propose two models(ContextNet-PFFN and ContextNet-SFFN) under this framework by introducing linear contextual embedding network and two non-linear mapping sub-network in ContextNet block. We conduct extensive experiments on four real-world datasets and the experiment results demonstrate that our proposed ContextNet-PFFN and ContextNet-SFFN model outperform state-of-the-art models such as DeepFM and xDeepFM significantly.

연구 동기 및 목표

• 재구성 시스템의 정확한 순위 매기기 위해 필수적인 고차원 특징 상호작용을 효과적으로 모델링하는 데 도전하는 것.
• DNN 기반 모델에서 얕은 MLP가 복잡한 특징 상호작용을 효율적으로 포착하지 못하는 한계를 극복하는 것.
• 추론 중에 특징 임베딩을 동적으로 문맥 인식 가능하게 정밀하게 조정할 수 있는 유연하고 해석 가능한 프레임워크를 개발하는 것.
• 계산 비용을 크게 증가시키지 않으면서도 고차원 상호작용을 암묵적으로 모델링할 수 있는 확장 가능한 아키텍처를 설계하는 것.

제안 방법

• ContextNet는 입력 인스턴스로부터 각 특징에 대해 문맥 인식 정보를 집계하는 문맥 임베딩 모듈을 포함하는 이원적 프레임워크를 도입한다.
• ContextNet 블록은 비선형 매핑 서브넷을 통해 고차원 상호작용 신호를 융합함으로써, 각 특징의 임베딩을 계층별로 유지하고 동적으로 정밀하게 조정한다.
• 선형 및 비선형 문맥 임베딩 네트워크와 두 가지 다른 비선형 매핑 서브넷을 통합하여, ContextNet-PFFN과 ContextNet-SFFN라는 두 가지 특정 모델을 제안한다.
• 문맥 임베딩과 히든 상태 간의 곱셈 상호작용 패턴을 사용하며, '잠재 교차'(latent cross) 메커니즘을 영감으로 받아, 덧셈 집계보다 특징 상호작용을 더 효과적으로 모델링한다.
• 블록 간에 잔차 유사 구조를 활용하여, 더 깊은 네트워크 학습의 안정성과 성능 향상을 도모한다.
• 블록 간 임베딩 출력의 내적 곱 행렬을 통해 특징 중요도를 분석하고, 변화하는 특징 상관관계를 시각화한다.

실험 결과

연구 질문

• RQ1 문맥 정보를 사용하여 특징 임베딩을 동적으로 정밀하게 조정하면 고차원 특징 상호작용 모델링이 CTR 예측에서 향상되는가?
• RQ2 AUC 및 계산 효율성 측면에서 ContextNet의 아키텍처는 DeepFM 및 xDeepFM과 같은 기존 모델과 비교해 어떻게 성능을 냈는가?
• RQ3 ContextNet 블록 수와 임베딩 크기가 모델 성능 및 일반화에 얼마나 큰 영향을 미치는가?
• RQ4 동적 임베딩 메커니즘이 각 입력 인스턴스에 맞게 관련 특징 상호작용을 효과적으로 포착하고 적응하는가?

주요 결과

• ContextNet-PFFN과 ContextNet-SFFN는 네 개의 실세계 데이터셋에서 DeepFM 및 xDeepFM을 능가하는 최고 수준의 AUC 성능을 달성한다.
• Criteo 데이터셋에서 ContextNet-PFFN는 임베딩 크기가 10인 기준선의 0.8104보다 높은 AUC 0.8113을 기록한다.
• 임베딩 크기가 50일 때 성능이 최고에 이르며, Criteo에서는 AUC 0.8113, Malware에서는 AUC 0.7417를 기록한 후 더 큰 크기에서 과적합으로 인해 성능이 떨어진다.
• ContextNet 블록의 수는 성능에 크게 영향을 미치며, 10~11개 블록에서 최적의 성능을 기록함으로써 깊은 아키텍처의 양호한 학습 가능성과 성능을 시사한다.
• 동적 임베딩 정밀화가 경험적으로 검증되었다: 블록 간 특징 상관관계가 변화하며, 양성 예측 인스턴스에서 '나이', '영화 장르', '영화 연도'가 핵심 상관 특징으로 부각된다.
• 특징 중요도 분석 결과, 샘플링된 ML-1m 인스턴스에서 '나이'=35가 가장 영향력 있는 특징으로 나타났으며, 이는 모델이 문맥적으로 관련 있는 특징에 동적으로 주목하고 있음을 뒷받침한다.