[論文レビュー] Empowering News Recommendation with Pre-trained Language Models

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本論文は、ニュース推薦システムに事前学習言語モデル（PLM）を統合することで、ニュース表現学習と推薦性能を向上させることを提案する。従来の浅いNLPモデルの代わりに、BERT や UniLM などのPLMをニュースエンコーディングに用いることで、著しい向上が得られた—英語圏市場ではクリックスルーレートが8.53%向上、ページビューが2.63%向上し、43か国・地域のグローバル市場ではそれぞれ10.68%および6.04%の向上を達成した。これは、産業的ニュース推薦分野におけるPLMの初の大規模な導入を示している。

ABSTRACT

Personalized news recommendation is an essential technique for online news services. News articles usually contain rich textual content, and accurate news modeling is important for personalized news recommendation. Existing news recommendation methods mainly model news texts based on traditional text modeling methods, which is not optimal for mining the deep semantic information in news texts. Pre-trained language models (PLMs) are powerful for natural language understanding, which has the potential for better news modeling. However, there is no public report that show PLMs have been applied to news recommendation. In this paper, we report our work on exploiting pre-trained language models to empower news recommendation. Offline experimental results on both monolingual and multilingual news recommendation datasets show that leveraging PLMs for news modeling can effectively improve the performance of news recommendation. Our PLM-empowered news recommendation models have been deployed to the Microsoft News platform, and achieved significant gains in terms of both click and pageview in both English-speaking and global markets.

研究の動機と目的

• ニュース推薦のためのパーソナライズド推薦において、浅いNLPモデルがニューステキストからの深い意味的情報を捉えきれていないという限界を解決すること。
• 事前学習言語モデル（PLM）がニュース推薦システムにおけるニュース表現学習を改善できるかどうかを調査すること。
• モノリンガルおよびマルチリンガルニュース推薦データセットにおいて、PLMの有効性を評価すること。
• 実世界の産業的ニュースプラットフォーム、特にMicrosoft Newsにおいて、PLM強化モデルを導入・検証すること。
• PLMベースのモデルが多様な言語的・文化的市場においてスケーラビリティと一般化性能を示すかどうかを実証すること。

提案手法

• 全テキストニュースコンテンツから文脈に応じたニュース表現を学ぶために、従来のニュースエンコーディングモデル（例：CNN、自己注意機構）を、BERT や UniLM などの事前学習言語モデル（PLM）に置き換える。
• 標準的な推薦フレームワーク（ニュースエンコーダ、ユーザーエンコーダ（例：GRU や注目メカニズムベース）、クリック予測モジュールを含む）を用いて、ニュース推薦データ上でPLMをファインチューニングする。
• PLMの隠れ状態を固定サイズのニュース埋め込みに集約するための注目メカニズムベースのプーリング手法を採用し、CLSや平均プーリング手法を上回る性能を達成する。
• NAML（ニュースに特化したマルチヘッドアテンション）およびNRMS（自己注意機構を備えたニューラルニュース推薦モデル）の2つの既存の推薦モデルに、PLMベースのニュースエンコーダーを統合する。
• グローバル市場における多言語的ニュース表現学習のため、InfoXLM などの多言語PLMを活用する。
• t-SNEを用いた可視化により、浅いモデルと比較してPLM強化モデルが学習するニュース埋め込みの判別力の高さを検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデル（PLM）は、従来の浅いNLPモデルと比較して、ニュース推薦におけるニュース表現学習を顕著に改善できるか？
• RQ2 PLMのサイズがモノリンガルおよびマルチリンガルデータセットにおける推薦性能に与える影響は何か？
• RQ3 CLS、平均プーリング、注目メカニズムベースのプーリングのうち、どのプーリング戦略がPLMの隠れ状態から最も効果的なニュース埋め込みを生成するか？
• RQ4 PLM強化モデルは、可視化によって示されるように、より判別力があり意味的に意味のあるニュース埋め込みを生成するか？
• RQ5 PLM強化型推薦モデルは、実世界の導入においてクリックスルーレートやページビューといったオンライン指標に顕著な改善をもたらすか？

主な発見

• PLM強化型ニュース推薦モデルは、PLMを搭載しないベースラインモデルと比較して、英語圏市場でクリックスルーレートが8.53%向上、ページビューが2.63%向上した。
• 英語以外の43か国・地域のグローバル市場において、クリックスルーレートが10.68%向上、ページビューが6.04%向上し、優れたマルチリンガル一般化性能を示した。
• 大規模なPLM（例：BERT-Base）は、小規模なバージョン（例：BERT-Tiny）を常に上回る性能を示し、モデル容量が洗練された意味理解能力と相関していることを示した。
• 注目メカニズムベースのプーリング手法は、CLSや平均プーリングを上回った。これは、シーケンス全体にわたる情報を効果的に捉えることができたためである。
• t-SNE可視化により、PLMベースのモデルが、浅いモデルよりも判別力が高く、より明確に分離されたクラスタを形成するニュース埋め込みを学習していることが確認された。
• Microsoft NewsにおけるNAML-UniLMおよびNAML-InfoXLMの導入により、大規模なプロダクションシステムにおけるPLM統合のスケーラビリティと実世界での有効性が裏付けられた。