[論文レビュー] LLMs as Science Journalists: Supporting Early-stage Researchers in Communicating Their Science to the Public

Milad Alshomary, Grace Li+4 more|arXiv (Cornell University)|Jan 9, 2026

Computational and Text Analysis Methods被引用数 0

ひとこと要約

この論文は、紙面上の対話やプレスリリースを用いた合成対話と監督付き微調整および嗜好学習を用いて、初期研究者が公衆へ向けて研究を伝える際の科学ジャーナリストとしての役割を果たすようにLLMsを訓練する枠組みを提示し、一般目的AIよりも質問の質とユーザーの嗜好を改善することを示している。

ABSTRACT

The scientific community needs tools that help early-stage researchers effectively communicate their findings and innovations to the public. Although existing general-purpose Large Language Models (LLMs) can assist in this endeavor, they are not optimally aligned for it. To address this, we propose a framework for training LLMs to emulate the role of a science journalist that can be used by early-stage researchers to learn how to properly communicate their papers to the general public. We evaluate the usefulness of our trained LLM Journalists in leading conversations with both simulated and human researchers. %compared to the general-purpose ones. Our experiments indicate that LLMs trained using our framework ask more relevant questions that address the societal impact of research, prompting researchers to clarify and elaborate on their findings. In the user study, the majority of participants who interacted with our trained LLM Journalist appreciated it more than interacting with general-purpose LLMs.

研究の動機と目的

• LLMsを科学ジャーナリストの役割に合わせて整合させ、研究者が公衆に自分の発見を伝えるのを支援する枠組みを開発する。
• 訓練のための論文とプレスリリースから成る科学者–ジャーナリスト対話の合成コーパスを作成する。
• ジャーナリスト訓練を受けたLLMが、一般目的AIと比較して質が高く、社会的・科学的文脈を含む質問を生成するかを評価する。
• 研究者が素人向け要約を作成するのを支援する際の、LLMジャーナリストと一般目的AIのユーザー体験を評価する。

提案手法

• 論文とそのプレスリリースのコーパスからジャーナリスト–研究者対話を合成して、リリースと整合する訓練パイプラインを構築する。
• 合成対話に基づいてジャーナリストの発話を生成するようLLMsを訓練するために、監督付き微調整（SFT）を適用する。
• フォローアップ質問や社会的影響に焦点を当てた嗜好学習（DPO）用の嗜好データセットを作成する。
• 事前定義された品質プロンプトを用いて、ジャーナリスト-LLMと研究者-LLMの対話を自動的に評価する。
• LLMジャーナリストと一般目的AIを比較する利用者調査をPhD学生で実施し、素人要約の質と有用感を比較する。
• コード、合成データセット、訓練済みモデル、チャットインターフェースを公開する。

実験結果

リサーチクエスチョン

• RQ1 ジャーナリストLLMとのAI対話は、研究者が社会的影響・科学的文脈・アクセシビリティに対処する能力を、一般目的AIアシスタントよりも効果的に高めるか。
• RQ2 微調整済みジャーナリストLLMは、プロンプトベースのベースラインと比べて、より高品質で冗長性が低く、文脈的に関連する質問を生成するか。
• RQ3 合成されたジャーナリスト–研究者対話は、LLMを科学ジャーナリズムの模倣へと reliably trainingできるか、そして研究者はこのアプローチを受け入れるか。
• RQ4 ジャーナリストLLMとのユーザー対話は、一般目的AIとの対話と比べて素人要約の作成にどのような影響を与えるか。

主な発見

• 微調整を施したLLMジャーナリストは、アクセス可能性・科学的文脈・社会的影響をカバーするよりバランスの取れた質問を、ベースラインよりも生成する。
• 嗜好学習（DPO）はフォローアップおよび社会的影響に関する質問を改善し、評価されたモデルの中で最も調和のとれたバランスを達成する。
• 自動評価は、ジャーナリスト訓練モデルが多次元の品質指標でプロンプトベースの対戦相手を上回ることを示す。
• ユーザー調査では、コンピュータサイエンスの博士課程の学生の多数が、学習コミュニケーションスキル習得のためにLLMジャーナリストとの対話を一般目的AIより好んだ。
• 参加者は、LLMジャーナリストを使用した際にプロンプト作成の負担が軽減され、素人要約での語彙の重複と整合性が高まったと報告した。
• 著者は今後の研究と再現性を促進するための公開可能なインターフェースとデータセットを提供する。