[论文解读] A Preliminary Study of ChatGPT on News Recommendation: Personalization, Provider Fairness, Fake News

Xinyi Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|Jun 19, 2023

Recommender Systems and Techniques被引用 5

一句话总结

本研究评估了ChatGPT在新闻推荐中的表现，涵盖个性化、提供方公平性以及虚假新闻检测。研究发现，尽管使用JSON格式可提升信息区分度，且明确提示可降低提供方偏见，但ChatGPT在提供候选文章的情况下仍以不可忽视的频率生成虚假新闻，凸显其在可靠性方面存在关键局限，亟需进一步研究与通过实时跟踪网页进行持续监控。

ABSTRACT

Online news platforms commonly employ personalized news recommendation methods to assist users in discovering interesting articles, and many previous works have utilized language model techniques to capture user interests and understand news content. With the emergence of large language models like GPT-3 and T-5, a new recommendation paradigm has emerged, leveraging pre-trained language models for making recommendations. ChatGPT, with its user-friendly interface and growing popularity, has become a prominent choice for text-based tasks. Considering the growing reliance on ChatGPT for language tasks, the importance of news recommendation in addressing social issues, and the trend of using language models in recommendations, this study conducts an initial investigation of ChatGPT's performance in news recommendations, focusing on three perspectives: personalized news recommendation, news provider fairness, and fake news detection. ChatGPT has the limitation that its output is sensitive to the input phrasing. We therefore aim to explore the constraints present in the generated responses of ChatGPT for each perspective. Additionally, we investigate whether specific prompt formats can alleviate these constraints or if these limitations require further attention from researchers in the future. We also surpass fixed evaluations by developing a webpage to monitor ChatGPT's performance on weekly basis on the tasks and prompts we investigated. Our aim is to contribute to and encourage more researchers to engage in the study of enhancing news recommendation performance through the utilization of large language models such as ChatGPT.

研究动机与目标

• 评估ChatGPT在个性化新闻推荐、提供方公平性及虚假新闻检测任务中的零样本性能。
• 探究提示设计如何影响新闻推荐任务中响应质量与可靠性的表现。
• 识别ChatGPT输出生成中的固有局限，尤其关注虚假新闻与记忆化问题。
• 开发一个实时网页，用于每周监测ChatGPT在关键推荐任务中的表现。
• 鼓励进一步研究，以提升大型语言模型在伦理且高效的新闻推荐中的应用。

提出的方法

• 使用结构化提示，结合JSON格式的用户与文章数据，以提升输入的清晰度与可区分性。
• 设计多种提示变体，涵盖输入格式（文本与JSON）、内容完整性（仅标题与完整元数据）以及明确的公平性指令。
• 通过自定义网页每周开展评估，以追踪性能随时间的变化趋势。
• 采用受控实验设置，预先设定候选文章与用户档案，以评估推荐准确率与公平性。
• 采用零样本提示方法，未进行微调，完全依赖提示工程来引导模型行为。
• 监控是否存在虚构或编造的文章ID，以评估虚假新闻生成风险。

实验结果

研究问题

• RQ1 提示格式（如JSON与文本）在多大程度上影响ChatGPT区分并推荐相关新闻文章的能力？
• RQ2 明确的公平性指令在多大程度上可减少ChatGPT推荐中的提供方偏见？
• RQ3 即使提供了候选文章，ChatGPT能否可靠地检测并避免推荐虚假新闻？
• RQ4 输入信息的完整性（如仅标题与完整元数据）在多大程度上影响生成虚假新闻的可能性？
• RQ5 ChatGPT在新闻推荐中存在哪些持续性局限，仅通过提示设计无法解决？

主要发现

• 使用JSON格式提示显著提升了ChatGPT处理与区分复杂用户与文章信息的能力，优于非结构化文本。
• ChatGPT表现出固有的提供方偏见，但通过明确指定需包含的热门与冷门提供方数量，可有效缓解该问题。
• 即使提供了候选文章，当使用不完整提示（如仅含ID或简短字符串）时，ChatGPT在约十分之一的推荐中生成了虚假新闻。
• 仅使用文章标题可将虚假新闻生成率降低至约一百五十分之一，但并未完全消除，表明仍存在持续的幻觉风险。
• ChatGPT在记忆能力方面表现较差，尤其在处理数值或简短、无描述性的标识符时更为明显。
• 本研究建立了实时网页（https://imrecommender.github.io/ChatNews/），以实现对ChatGPT在新闻推荐任务中表现的持续、透明监控。