[논문 리뷰] CTRL: Connect Collaborative and Language Model for CTR Prediction

Xiang‐Yang Li, Bo Chen외 2명|arXiv (Cornell University)|2023. 06. 05.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 표형 데이터를 텍스트 형식으로 변환하고 다중 모odal 지식 정렬을 수행함으로써 협업 모델과 사전 훈련된 언어 모델을 연결하는 새로운 프레임워크 CTRL을 제안한다. 이 방법은 낮은 추론 지연으로 최신 기술 수준의 성능을 달성하며, 정렬 이후 경량 협업 모델을 배포함으로써 산업적 효율성을 유지를 하면서도 온라인 CTR에서 기존 SOTA 모델보다 5% 높은 성능을 기록한다.

ABSTRACT

Traditional click-through rate (CTR) prediction models convert the tabular data into one-hot vectors and leverage the collaborative relations among features for inferring the user's preference over items. This modeling paradigm discards essential semantic information. Though some works like P5 and CTR-BERT have explored the potential of using Pre-trained Language Models (PLMs) to extract semantic signals for CTR prediction, they are computationally expensive and suffer from low efficiency. Besides, the beneficial collaborative relations are not considered, hindering the recommendation performance. To solve these problems, in this paper, we propose a novel framework extbf{CTRL}, which is industrial-friendly and model-agnostic with superior inference efficiency. Specifically, the original tabular data is first converted into textual data. Both tabular data and converted textual data are regarded as two different modalities and are separately fed into the collaborative CTR model and pre-trained language model. A cross-modal knowledge alignment procedure is performed to fine-grained align and integrate the collaborative and semantic signals, and the lightweight collaborative model can be deployed online for efficient serving after fine-tuned with supervised signals. Experimental results on three public datasets show that CTRL outperforms the state-of-the-art (SOTA) CTR models significantly. Moreover, we further verify its effectiveness on a large-scale industrial recommender system.

연구 동기 및 목표

• 표형 특성의 one-hot 인코딩으로 인해 의미 정보가 손실되는 기존 CTR 모델의 한계를 해결하기 위해.
• 표형 데이터의 협업 신호와 사전 훈련된 언어 모델(PLM)의 의미 신호를 통합하여 추천 정확도를 향상시키기 위해.
• 산업 환경에서 PLM의 높은 추론 비용 문제를 해결하기 위해 지식 정렬 이후 경량 협업 모델만을 배포함으로써 비용을 낮추기 위해.
• 광범위한 공학 최적화 없이도 높은 효율성을 유지하는 모델 독립적이고 산업 친화적인 프레임워크를 개발하기 위해.

제안 방법

• 사람이 설계한 프롬프트를 사용해 원시 표형 특성을 자연어 텍스트로 변환하여 PLM 처리를 가능하게 하기 위해.
• 표형 데이터와 텍스트 데이터를 두 가지 별개의 모odal로 간주하고, 각각 협업 CTR 모델과 사전 훈련된 언어 모델에 입력하기 위해.
• 대비 학습을 통해 교차 모달 지식 정렬을 수행하여 협업 신호와 의미 신호를 세밀하게 정렬하고 통합하기 위해.
• 정렬된 표현에서의 지도 신호를 사용해 협업 모델을 미세 조정하여 최종 CTR 예측을 위한 다운스트림 작업을 수행하기 위해.
• 온라인 서비스에서는 오직 경량 협업 모델만을 배포하여 낮은 지연 시간의 추론을 보장하기 위해.
• PLM 성능을 최적화하기 위해 프롬프트 엔지니어링 전략을 평가하기 위해.

실험 결과

연구 질문

• RQ1 고립된 모델링을 넘어서 협업 신호와 의미 신호를 효과적으로 통합하여 CTR 예측 성능을 향상시킬 수 있는가?
• RQ2 표형 표현과 텍스트 표현 간의 교차 모달 지식 정렬이 추천 성능 향상에 기여하는가?
• RQ3 PLM 신호와 정렬 후 경량 협업 모델이 얼마나 높은 성능을 달성할 수 있는가?
• RQ4 제안된 프레임워크는 기존 SOTA 모델을 능가하면서도 산업 환경에서 낮은 추론 지연을 유지할 수 있는가?

주요 결과

• CTRL은 공개 데이터셋에서 AUC 0.6683을 기록하여 최고의 베이스라인(DeepFM, 0.6547)과 CTR-BERT, P5와 같은 SOTA 모델을 크게 앞서며 뛰어난 성능을 보였다.
• CTRL은 logloss를 0.1606으로 낮춰, 다음으로 우수한 모델인 AutoInt(0.1713)에 비해 우수한 최적화 성능을 입증했다.
• 대규모 산업 시스템에서의 온라인 A/B 테스트에서 CTRL은 기준 모델 대비 CTR에서 상대적 5% 향상을 기록했다.
• 프레임워크는 백본 협업 모델과 동일한 추론 지연을 유지하여 산업적 효율성과 배포 가능성의 우수성을 입증했다.
• 프롬프트 엔지니어링 결과, 자연어 프롬프트(예: "사용자 연령: 25세, 성별: 남성")가 규칙 기반 또는 마스크된 변형보다 성능이 뛰어나며, 특히 Prompt-1이 가장 우수한 성능을 보였다.
• 제거 실험 결과, 특성 필드(예: "연령", "성별")와 유창하고 의미가 풍부한 문장의 포함이 모델 성능 향상에 크게 기여하는 것으로 확인되었다.