[논문 리뷰] LLMs as Science Journalists: Supporting Early-stage Researchers in Communicating Their Science to the Public

Milad Alshomary, Grace Li외 4명|arXiv (Cornell University)|2026. 01. 09.

Computational and Text Analysis Methods인용 수 0

한 줄 요약

이 논문은 연구 초기 단계의 연구자들이 대중에게 자신의 연구를 전달하도록 안내하는 과학 저널리스트 역할을 수행하도록 LLM을 학습시키는 프레임워크를 제시합니다. 논문과 보도자료로부터 합성된 대화를 사용하고, 감독 학습 미세조정(SFT)과 선호 학습(DPO)을 통해 일반-purpose AI에 비해 질문의 질과 사용자 선호도가 향상됨을 보여줍니다.

ABSTRACT

The scientific community needs tools that help early-stage researchers effectively communicate their findings and innovations to the public. Although existing general-purpose Large Language Models (LLMs) can assist in this endeavor, they are not optimally aligned for it. To address this, we propose a framework for training LLMs to emulate the role of a science journalist that can be used by early-stage researchers to learn how to properly communicate their papers to the general public. We evaluate the usefulness of our trained LLM Journalists in leading conversations with both simulated and human researchers. %compared to the general-purpose ones. Our experiments indicate that LLMs trained using our framework ask more relevant questions that address the societal impact of research, prompting researchers to clarify and elaborate on their findings. In the user study, the majority of participants who interacted with our trained LLM Journalist appreciated it more than interacting with general-purpose LLMs.

연구 동기 및 목표

• LLMs를 과학 저널리스트의 역할에 맞추어 연구자들이 자신들의 발견을 대중에게 전달하도록 돕는 프레임워크를 개발한다.
• 논문과 보도자료를 기반으로 한 학자–저널리스트 대화의 합성 대화 집합을 만들어 훈련에 활용한다.
• 저널리스트로 학습된 LLM이 일반 목적 AI에 비해 더 높은 품질의 질문을 생성하는지, 사회적 맥락 및 과학적 맥락 고려 여부를 평가한다.
• 연구자들이 lay summary를 작성하는 데 LLM 저널리스트와 일반 목적 AI 간의 사용자 경험을 평가한다.]
• method:[

제안 방법

• 합성된 대화와 보도자료를 기반으로 저널리스트–연구자 대화를 합성하는 학습 파이프라인 구축
• 합성 대화를 바탕으로 저널리스트 발화를 생성하도록 LLM을 학습시키는 감독 학습 미세조정(SFT)을 적용
• 추종자 질문 및 사회적 영향 질문에 초점을 맞춘 선호 학습(DPO)을 통해 선호 데이터셋을 작성
• 사전에 정의된 품질 프롬프트를 사용하여 저널리스트-LMM과 연구자-LMM 간의 대화를 시뮬레이션하여 자동 평가를 수행
• LLM 저널리스트를 사용할 때 lay summary 품질과 유용성 인식을 비교하기 위해 PhD 학생들을 대상으로 사용자 연구를 수행
• 코드, 합성 데이터셋, 학습된 모델, 채팅 인터페이스를 공개적으로 이용 가능하게 한다

실험 결과

연구 질문

• RQ1 저널리스트 LLM과의 AI 주도 대화가 일반 목적 AI 어시스턴트보다 사회적 영향, 과학적 맥락, 접근성에 더 효과적으로 대처하도록 연구자들을 이끄는가?
• RQ2 미세조정된 저널리스트 LLM은 프롬프트 기반 기준 대비 더 높은 품질의 덜 중복적이고 맥락상 더 관련 있는 질문을 생성하는가?
• RQ3 합성된 저널리스트–연구자 대화가 LLM을 과학 저널리즘을 모방하도록 신뢰할 수 있게 학습시키는가, 그리고 연구자들은 이 접근법에 호의적인가?
• RQ4 저널리스트 LLM과의 상호 작용은 lay summary 작성에 일반 목적 AI와의 상호 작용과 비교해 어떤 영향을 미치는가?

주요 결과

• 미세조정된 LLM 저널리스트는 접근성, 과학적 맥 context, 사회적 영향에 대해 더 균형 잡힌 질문을 생성한다.
• 선호 학습(DPO)은 후속 질문과 사회적 영향 질문을 개선하여 평가된 모델들 중 최상의 조화를 이룬다.
• 자동 평가 결과 저널리스트 훈련 모델이 프롬프트 기반 상대 모델보다 다차원 품질 지표에서 우수하다.
• 사용자 연구에서 컴퓨터과학 박사 과정 학생의 다수가 일반 목적 AI보다 LLM 저널리스트와 상호작용하는 것을 선호했다.
• 참가자들은 LLM 저널리스트를 사용할 때 프롬프팅 부담이 줄고 Lay summary의 참여도가 더 높아졌으며 단어 중복과 정렬에서도 개선을 보였다.
• 저자는 향후 연구 및 재현을 용이하게 하기 위해 공개적으로 이용 가능한 인터페이스와 데이터셋을 제공한다.