[論文レビュー] Friend or Foe? Exploring the Implications of Large Language Models on the Science System

Benedikt Fecher, Marcel Hebing+3 more|arXiv (Cornell University)|Jun 16, 2023

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

The paper reports a Delphi study with 72 science and AI experts to assess LLM applications, limitations, and implications for the science system, highlighting transformative potential and risks requiring regulation and education.

ABSTRACT

The advent of ChatGPT by OpenAI has prompted extensive discourse on its potential implications for science and higher education. While the impact on education has been a primary focus, there is limited empirical research on the effects of large language models (LLMs) and LLM-based chatbots on science and scientific practice. To investigate this further, we conducted a Delphi study involving 72 experts specialising in research and AI. The study focused on applications and limitations of LLMs, their effects on the science system, ethical and legal considerations, and the required competencies for their effective use. Our findings highlight the transformative potential of LLMs in science, particularly in administrative, creative, and analytical tasks. However, risks related to bias, misinformation, and quality assurance need to be addressed through proactive regulation and science education. This research contributes to informed discussions on the impact of generative AI in science and helps identify areas for future action.

研究の動機と目的

• LLMs and LLM-based chatbotsが科学的実践と科学システムに与える影響を評価する。
• 管理・創造・分析タスク全般での潜在的な応用を特定する。
• 倫理・法的・規制上の考慮事項と効果的な使用に必要な能力を調査する。
• 偏り・誤情報・品質保証などのリスクを強調し、教育・政策の方針を提案する。

提案手法

• 研究とAIの72名の専門家を対象としたデルファイ調査を実施し、科学におけるLLM利用に関する構造化された専門家判断を収集する。
• 反復的な調査を通じて、適用領域・制約・科学システムへの影響を探る。
• 科学におけるLLMsの効果的な利用に必要な倫理的・法的考慮事項と能力を検討する。
• 発見を統合して、リスクを緩和するための規制と教育の必要性を議論する。

実験結果

リサーチクエスチョン

• RQ1 科学における管理・創造・分析タスクにおけるLLMsとLLMベースのチャットボットの潜在的な適用は何か？
• RQ2 科学的実践におけるLLM利用に伴う限界とリスク（偏見・誤情報・品質保証）とは何か？
• RQ3 LLMsを科学システムに責任を持って組み込むために必要な規制・倫理・教育に関する措置は何か？
• RQ4 科学者がLLMsを効果的かつ安全に使用するために desarrollarすべき能力とスキルは何か？

主な発見

• LLMsは科学における行政・創造・分析タスクに対して変革的な可能性を持つ。
• 偏見・誤情報・品質保証の課題といったリスクがあり、積極的な管理が求められる。
• 倫理的・法的観点に対応するには規制と科学教育が必要である。
• 本研究は情報に基づく議論に寄与し、生成系AIと科学の将来の行動領域を特定する。