[논문 리뷰] A Preliminary Study of ChatGPT on News Recommendation: Personalization, Provider Fairness, Fake News

Xinyi Li, Yongfeng Zhang외 1명|arXiv (Cornell University)|2023. 06. 19.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 연구는 개인화, 공급자 공정성, 가짜 뉴스 탐지 측면에서 ChatGPT의 뉴스 추천 성능을 평가한다. JSON 형식의 입력이 정보의 구분을 향상시키고, 명시적 프롬프트가 공급자 편향을 줄일 수 있음에도 불구하고, ChatGPT는 여전히 유의미한 비율로 가짜 뉴스를 생성한다—심지어 후보 기사 입력이 제공된 상태에서도 그렇다—이러한 결과는 향후 연구와 실시간 모니터링을 위한 웹페이지 운영이 필수적임을 시사한다.

ABSTRACT

Online news platforms commonly employ personalized news recommendation methods to assist users in discovering interesting articles, and many previous works have utilized language model techniques to capture user interests and understand news content. With the emergence of large language models like GPT-3 and T-5, a new recommendation paradigm has emerged, leveraging pre-trained language models for making recommendations. ChatGPT, with its user-friendly interface and growing popularity, has become a prominent choice for text-based tasks. Considering the growing reliance on ChatGPT for language tasks, the importance of news recommendation in addressing social issues, and the trend of using language models in recommendations, this study conducts an initial investigation of ChatGPT's performance in news recommendations, focusing on three perspectives: personalized news recommendation, news provider fairness, and fake news detection. ChatGPT has the limitation that its output is sensitive to the input phrasing. We therefore aim to explore the constraints present in the generated responses of ChatGPT for each perspective. Additionally, we investigate whether specific prompt formats can alleviate these constraints or if these limitations require further attention from researchers in the future. We also surpass fixed evaluations by developing a webpage to monitor ChatGPT's performance on weekly basis on the tasks and prompts we investigated. Our aim is to contribute to and encourage more researchers to engage in the study of enhancing news recommendation performance through the utilization of large language models such as ChatGPT.

연구 동기 및 목표

• ChatGPT의 뉴스 추천 과제에서 제로샷 성능을 평가하기 위해 개인화, 공급자 공정성, 가짜 뉴스 탐지 능력을 분석한다.
• 프롬프트 설계가 뉴스 추천 과제에서 응답 품질과 신뢰성에 미치는 영향을 조사한다.
• ChatGPT의 출력 생성에서 가짜 뉴스 및 기억 현상과 관련된 내재적 한계를 규명한다.
• 핵심 추천 과제에서 ChatGPT의 성능을 매주 모니터링할 수 있는 실시간 웹페이지를 구축한다.
• 윤리적이고 효과적인 뉴스 추천을 위한 대규모 언어 모델 개선을 위한 추가 연구를 촉진한다.

제안 방법

• 입력 명확성과 가시성을 향리하기 위해 JSON 형식의 사용자 및 기사 데이터를 포함한 구조화된 프롬프트를 사용해 ChatGPT를 평가했다.
• 입력 형식(문자열 대비 JSON), 정보 완전성(제목만 대비 전체 메타데이터), 명시적 공정성 지시어의 유무를 변화시킨 다양한 프롬프트 변형을 설계했다.
• 자체 제작 웹페이지를 통해 매주 평가를 수행하여 성능 추세를 지속적으로 모니터링했다.
• 사전 정의된 후보 기사와 사용자 프로필을 사용한 통제된 환경에서 추천 정확도와 공정성을 평가했다.
• 피팅 튜닝 없이 제로샷 프롬프트를 적용하여, 모델 행동에 영향을 주기 위해 프롬프트 엔지니어링에 의존했다.
• 가짜 또는 허구의 기사 ID 생성 여부를 모니터링하여 가짜 뉴스 생성 위험을 평가했다.

실험 결과

연구 질문

• RQ1 예를 들어 JSON 대비 텍스트 형식의 프롬프트가 ChatGPT가 관련 뉴스 기사를 구분하고 추천하는 데 미치는 영향은 어떠한가?
• RQ2 명시적 공정성 지시어가 ChatGPT의 추천에서 공급자 편향을 어느 정도 줄일 수 있는가?
• RQ3 후보 기사가 제공된 상태에서도 ChatGPT는 가짜 뉴스를 신뢰성 있게 탐지하고 회피할 수 있는가?
• RQ4 입력 정보의 완전성(예: 제목만 대비 전체 메타데이터)이 가짜 뉴스 생성 확률에 어떤 영향을 미치는가?
• RQ5 프롬프트 설계만으로는 해결할 수 없는 ChatGPT의 뉴스 추천에서의 지속적인 한계는 무엇인가?

주요 결과

• JSON 형식의 프롬프트를 사용함으로써, ChatGPT는 비구조화된 텍스트에 비해 복잡한 사용자 및 기사 정보를 처리하고 구분하는 능력이 크게 향상됨을 확인했다.
• ChatGPT는 내재된 공급자 편향을 보였지만, 추천에 포함할 유명하고 불인기 공급자 수를 명시적으로 지정함으로써 이를 완화할 수 있었다.
• 후보 기사가 제공된 상태에서도, 불완전한 프롬프트(예: 기사 ID나 짧은 문자열만 포함)를 사용할 경우, ChatGPT는 약 10회에 1회의 비율로 가짜 뉴스 기사를 생성했다.
• 기사 제목만을 사용할 경우 가짜 뉴스 생성 비율은 150회에 1회로 감소했지만, 완전히 제거되지는 않았으며, 이는 여전히 지속적인 환각 위험이 있음을 시사한다.
• ChatGPT는 수치 값이나 짧고 기술적이지 않은 식별자 처리 시 특히 기억 능력이 떨어지는 것으로 나타났다.
• 이 연구는 ChatGPT의 뉴스 추천 과제에서 성능을 지속적으로 투명하게 모니터링할 수 있도록 실시간 웹페이지(https://imrecommender.github.io/ChatNews/)를 구축했다.