[논문 리뷰] Empowering News Recommendation with Pre-trained Language Models

Chuhan Wu, Fangzhao Wu외 2명|arXiv (Cornell University)|2021. 04. 15.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

이 논문은 뉴스 추천 시스템에 사전 훈련된 언어 모델(PLMs)을 통합하여 뉴스 표현 학습과 추천 성능을 향상시키는 것을 제안한다. 기존의 얕은 NLP 모델 대신 BERT와 UniLM와 같은 PLMs를 뉴스 인코딩에 활용함으로써 뚜렷한 성과 향상이 이루어졌으며, 영어 시장에서는 클릭률이 8.53% 향상되고 페이지뷰가 2.63% 증가했고, 43개의 글로벌 시장에서는 각각 10.68%와 6.04% 향상되었다. 이는 산업적 뉴스 추천 분야에서 PLMs를 대규모로 처음으로 도입한 사례임을 보여준다.

ABSTRACT

Personalized news recommendation is an essential technique for online news services. News articles usually contain rich textual content, and accurate news modeling is important for personalized news recommendation. Existing news recommendation methods mainly model news texts based on traditional text modeling methods, which is not optimal for mining the deep semantic information in news texts. Pre-trained language models (PLMs) are powerful for natural language understanding, which has the potential for better news modeling. However, there is no public report that show PLMs have been applied to news recommendation. In this paper, we report our work on exploiting pre-trained language models to empower news recommendation. Offline experimental results on both monolingual and multilingual news recommendation datasets show that leveraging PLMs for news modeling can effectively improve the performance of news recommendation. Our PLM-empowered news recommendation models have been deployed to the Microsoft News platform, and achieved significant gains in terms of both click and pageview in both English-speaking and global markets.

연구 동기 및 목표

• 개인화된 추천을 위해 뉴스 텍스트에서 깊은 의미 정보를 포착하는 데에 한계가 있는 얕은 NLP 모델의 문제를 해결하기 위해.
• 사전 훈련된 언어 모델(PLMs)이 뉴스 추천 시스템 내에서 뉴스 표현 학습을 향상시킬 수 있는지 탐구하기 위해.
• 단어 및 다국어 뉴스 추천 데이터셋에서 PLMs의 효과성을 평가하기 위해.
• 실제 산업 뉴스 플랫폼인 마이크로소프트 뉴스에서 PLM 강화 모델을 구현하고 검증하기 위해.
• 다양한 언어적 및 문화적 시장에서 PLM 기반 모델의 확장성과 일반화 능력을 입증하기 위해.

제안 방법

• 전체 텍스트 뉴스 콘텐츠로부터 문맥 기반 뉴스 표현을 학습하기 위해 기존의 뉴스 인코딩 모델(예: CNN, 자기주의 주의)을 BERT 및 UniLM와 같은 사전 훈련된 언어 모델(PLMs)로 대체한다.
• 표준 추천 프레임워크(뉴스 인코더, 사용자 인코더(예: GRU 또는 주의 기반 모델), 클릭 예측 모듈 포함)를 사용하여 뉴스 추천 데이터에 대해 PLMs를 미세 조정한다.
• PLM의 은닉 상태를 고정 크기의 뉴스 임베딩으로 집계하기 위해 주의 기반 풀링 기법을 사용하며, 이는 CLS 및 평균 풀링 방법보다 우수한 성능을 보인다.
• PLM 기반 뉴스 인코더를 기존의 두 추천 모델인 NAML(뉴스 인식 다중 머리 주의)과 NRMS(자기주의 주의 기반 신경 뉴스 추천 모델)에 통합한다.
• 글로벌 시장에서의 다국어 뉴스 표현 학습을 위해 InfoXLM과 같은 다국어 PLMs를 활용한다.
• 얕은 모델과 PLM 기반 모델이 학습한 뉴스 임베딩의 분류 능력을 비교하기 위해 t-SNE 시각화를 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델(PLMs)은 기존의 얕은 NLP 모델에 비해 뉴스 추천에서 뉴스 표현 학습을 뚜렷이 향상시킬 수 있는가?
• RQ2 사전 훈련된 언어 모델의 크기가 단어 및 다국어 데이터셋에서 추천 성능에 미치는 영향은 어떠한가?
• RQ3 CLS, 평균, 또는 주의 기반 풀링 중 어떤 전략이 PLM 은닉 상태에서 가장 효과적인 뉴스 임베딩을 도출하는가?
• RQ4 PLM 기반 모델이 주로 시각화를 통해 더 분류 능력이 뛰어나고 의미적으로 더 명확한 뉴스 임베딩을 생성하는가?
• RQ5 PLM 강화된 추천 모델은 실사용 환경에서 클릭률 및 페이지뷰와 같은 온라인 지표에서 측정 가능한 향상을 달성할 수 있는가?

주요 결과

• PLM 기반 뉴스 추천 모델은 PLMs를 사용하지 않은 기준 모델 대비 영어 시장에서 클릭률이 8.53% 향상되고 페이지뷰가 2.63% 향상되었다.
• 비영어 43개 글로벌 시장에서는 클릭률이 10.68% 향상되고 페이지뷰가 6.04% 향상되어 강력한 다국어 일반화 능력을 입증했다.
• 더 큰 PLMs(예: BERT-Base)는 더 작은 변형(예: BERT-Tiny)보다 일관되게 뛰어난 성능을 보였으며, 이는 모델 용량이 의미 이해 능력 향상과 관련이 있음을 시사한다.
• 주의 기반 풀링 방법이 CLS 및 평균 풀링을 모두 능가했으며, 이는 문장 전체에 걸쳐 정보성 높은 은닉 상태를 더 잘 포착하기 때문이다.
• t-SNE 시각화 결과, PLM 기반 모델이 얕은 모델보다 더 분류 능력이 뛰어나고 잘 분리된 뉴스 임베딩을 학습했음을 확인했으며, 더 명확한 클러스터를 형성했다.
• 마이크로소프트 뉴스에서 NAML-UniLM 및 NAML-InfoXLM의 구현을 통해 PLM 통합의 확장성과 실생활 효과가 입증되었다.