[논문 리뷰] Friend or Foe? Exploring the Implications of Large Language Models on the Science System

Benedikt Fecher, Marcel Hebing외 3명|arXiv (Cornell University)|2023. 06. 16.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

이 논문은 과학 및 AI 전문가 72명을 대상으로 델파이 연구를 수행하여 LLM 활용, 한계 및 과학 시스템에 대한 함의를 평가하며, 변혁적 잠재력과 규제 및 교육이 필요한 위험을 강조한다.

ABSTRACT

The advent of ChatGPT by OpenAI has prompted extensive discourse on its potential implications for science and higher education. While the impact on education has been a primary focus, there is limited empirical research on the effects of large language models (LLMs) and LLM-based chatbots on science and scientific practice. To investigate this further, we conducted a Delphi study involving 72 experts specialising in research and AI. The study focused on applications and limitations of LLMs, their effects on the science system, ethical and legal considerations, and the required competencies for their effective use. Our findings highlight the transformative potential of LLMs in science, particularly in administrative, creative, and analytical tasks. However, risks related to bias, misinformation, and quality assurance need to be addressed through proactive regulation and science education. This research contributes to informed discussions on the impact of generative AI in science and helps identify areas for future action.

연구 동기 및 목표

• 대형 언어 모델(LLMs)과 LLM 기반 챗봇이 과학적 실천 및 과학 시스템에 미치는 영향을 평가한다.
• 관리적, 창의적, 분석적 작업 전반에 걸친 잠재적 응용을 식별한다.
• 효과적 사용을 위한 윤리적, 법적 및 규제 고려사항과 필요한 역량을 조사한다.
• 편향, 허위정보, 품질보증 등의 위험을 강조하고 교육 및 정책을 위한 조치를 제안한다.

제안 방법

• 연구 및 AI 분야의 72명의 전문가를 대상으로 델파이 연구를 수행하여 과학에서의 LLM 사용에 대한 구조화된 전문가 판단을 수집한다.
• 반복 설문을 통해 응용 영역, 한계 및 과학 시스템에 미치는 영향을 탐구한다.
• 과학에서 LLM의 효과적 사용을 위한 역량과 함께 윤리적·법적 고려사항을 검토한다.
• 위험 완화를 위한 규제 및 교육적 필요성을 논의하기 위해 연구결과를 종합한다.

실험 결과

연구 질문

• RQ1 과학 내의 관리, 창의적 및 분석적 작업에서 LLM 및 LLM 기반 챗봇의 잠재적 응용은 무엇인가?
• RQ2 과학적 실천에서 LLM 사용에 수반되는 한계와 위험(편향, 허위정보, 품질보증)은 무엇인가?
• RQ3 과학 시스템에 LLM을 책임감 있게 통합하기 위해 필요한 규제, 윤리 및 교육과 관련된 조치는 무엇인가?
• RQ4 과학자들이 효과적이고 안전하게 LLM을 사용하기 위해 개발해야 할 역량과 기술은 무엇인가?

주요 결과

• LLMs는 과학의 관리, 창의적 및 분석적 작업에 변혁적 잠재력을 지닌다.
• 위험으로는 편향, 허위정보 및 품질보증 문제 등이 있으며 선제적 관리가 필요하다.
• 윤리적 및 법적 고려사항에 대응하기 위해 규제와 과학교육이 필요하다.
• 본 연구는 정보에 기반한 논의에 기여하고 생성형 AI와 과학에서 향후 조치가 필요한 영역을 식별한다.