[論文レビュー] A Preliminary Study of ChatGPT on News Recommendation: Personalization, Provider Fairness, Fake News

Xinyi Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|Jun 19, 2023

Recommender Systems and Techniques被引用数 5

ひとこと要約

本研究では、カスタマイズ性、プロバイダーの公平性、フェイクニュース検出の観点から、ChatGPTのニュース推薦におけるパフォーマンスを評価している。JSONフォーマットの採用により情報の明確化が図られ、明示的なプロンプト設計によってプロバイダーバイアスを低減できるものの、候補記事の入力が与えられた状態でもChatGPTは著しくない割合でフェイクニュースを生成していることが判明した。これは、さらなる研究とライブトラッキングウェブページによる継続的監視が不可欠であることを示している。

ABSTRACT

Online news platforms commonly employ personalized news recommendation methods to assist users in discovering interesting articles, and many previous works have utilized language model techniques to capture user interests and understand news content. With the emergence of large language models like GPT-3 and T-5, a new recommendation paradigm has emerged, leveraging pre-trained language models for making recommendations. ChatGPT, with its user-friendly interface and growing popularity, has become a prominent choice for text-based tasks. Considering the growing reliance on ChatGPT for language tasks, the importance of news recommendation in addressing social issues, and the trend of using language models in recommendations, this study conducts an initial investigation of ChatGPT's performance in news recommendations, focusing on three perspectives: personalized news recommendation, news provider fairness, and fake news detection. ChatGPT has the limitation that its output is sensitive to the input phrasing. We therefore aim to explore the constraints present in the generated responses of ChatGPT for each perspective. Additionally, we investigate whether specific prompt formats can alleviate these constraints or if these limitations require further attention from researchers in the future. We also surpass fixed evaluations by developing a webpage to monitor ChatGPT's performance on weekly basis on the tasks and prompts we investigated. Our aim is to contribute to and encourage more researchers to engage in the study of enhancing news recommendation performance through the utilization of large language models such as ChatGPT.

研究の動機と目的

• ChatGPTのゼロショット性能を、個人化されたニュース推薦、プロバイダーの公平性、フェイクニュース検出の観点から評価すること。
• プロンプト設計がニュース推薦タスクにおける応答品質と信頼性に与える影響を調査すること。
• ChatGPTの出力生成における根本的な制限、特にフェイクニュースと記憶の問題に関して特定すること。
• 主要な推薦タスクにおけるChatGPTのパフォーマンスを週単位で継続的に監視できるライブウェブページの開発。
• 倫理的かつ効果的なニュース推薦を実現するための、大規模言語モデルの改善に向けたさらなる研究を促すこと。

提案手法

• 入力の明確化と区別性を高めるために、JSONフォーマットで整形されたユーザーおよび記事データを含む構造化プロンプトを用いてChatGPTを評価した。
• 入力形式（テキスト対比JSON）、内容の完全性（タイトルのみ対比完全メタデータ）、明示的な公平性指示の有無を変化させた複数のプロンプトバージョンを設計した。
• 独自のウェブページを用いて週次で評価を実施し、時間経過に伴うパフォーマンスの傾向を追跡した。
• 事前に定義された候補記事とユーザープロファイルを用いた制御された環境で、推薦の正確性と公平性を評価した。
• ファインチューニングを一切行わず、プロンプト工学に依存してモデルの挙動を誘導するゼロショットプロンプティングを適用した。
• 架空のまたは捏造された記事IDの生成を監視し、フェイクニュース生成のリスクを評価した。

実験結果

リサーチクエスチョン

• RQ1 プロンプト形式（例：JSON対テキスト）が、ChatGPTが関連するニュース記事を識別・推薦する能力にどのように影響するか？
• RQ2 明示的な公平性指示を設けることで、ChatGPTの推薦におけるプロバイダーバイアスはどの程度低減可能か？
• RQ3 候補記事が提供された状態でも、ChatGPTはフェイクニュースを信頼性を持って検出・回避できるか？
• RQ4 入力情報の完全性（例：タイトルのみ対完全メタデータ）が、フェイクニュース生成の確率に与える影響は何か？
• RQ5 プロンプト設計だけでは解決できない、ChatGPTのニュース推薦における継続的かつ根本的な制限は何か？

主な発見

• JSONフォーマットのプロンプトを用いることで、ChatGPTは構造化されていないテキストに比べ、複雑なユーザーおよび記事情報の処理・区別能力が著しく向上した。
• ChatGPTは本質的なプロバイダーバイアスを示したが、人気のあるおよび人気のないプロバイダーの数を明示的に指定することで、これを緩和できることが分かった。
• 候補記事が提供された状態でも、不完全なプロンプト（例：IDのみや短い文字列）を使用した場合、ChatGPTは約10回に1回の割合でフェイクニュース記事を生成した。
• 記事タイトルのみを入力とした場合、フェイクニュース生成率は150回に1回まで低下したが、完全に解消されたわけではない。これは、依然として持続的な幻覚リスクが存在することを示している。
• ChatGPTは特に数値や短く記述のない識別子を扱う際、記憶能力が著しく低いことが判明した。
• 本研究では、ニュース推薦タスクにおけるChatGPTのパフォーマンスを継続的かつ透明に監視できるライブウェブページ（https://imrecommender.github.io/ChatNews/）を確立した。