[논문 리뷰] Scientists' Perspectives on the Potential for Generative AI in their Fields

Meredith Ringel Morris|arXiv (Cornell University)|2023. 04. 04.

Scientific Computing and Data Management인용 수 29

한 줄 요약

이 논문은 물리학, 생명과학, 사회과학 전 분야의 과학자 스무 명을 대상으로 Generative AI가 교육, 데이터 작업, 문헌 검토, 코딩, 발견, 소통을 어떻게 보강할 수 있는지와 관련 우려를 탐구하는 질적 인터뷰를 제시한다.

ABSTRACT

Generative AI models, including large language models and multimodal models that include text and other media, are on the cusp of transforming many aspects of modern life, including entertainment, education, civic life, the arts, and a range of professions. There is potential for Generative AI to have a substantive impact on the methods and pace of discovery for a range of scientific disciplines. We interviewed twenty scientists from a range of fields (including the physical, life, and social sciences) to gain insight into whether or how Generative AI technologies might add value to the practice of their respective disciplines, including not only ways in which AI might accelerate scientific discovery (i.e., research), but also other aspects of their profession, including the education of future scholars and the communication of scientific findings. In addition to identifying opportunities for Generative AI to augment scientists' current practices, we also asked participants to reflect on concerns about AI. These findings can help guide the responsible development of models and interfaces for scientific education, inquiry, and communication.

연구 동기 및 목표

• Generative AI가 다양한 분야의 과학 교육, 연구, 소통에 가치를 더할 수 있는 방법을 탐구한다.
• AI가 데이터 준비, 분석, 코딩을 가속화할 수 있는 잠재적 워크플로를 식별한다.
• 문헌 검토, 가설 생성, 실험 설계 및 데이터 수집에서 AI의 기회를 모색한다.
• 과학자들의 우려와 Generative AI를 과학에 도입할 때의 신뢰 관련 고려사항을 평가한다.

제안 방법

• 물리, 생명, 사회과학에 걸친 Alphabet 소속의 Ph.D.-수준 과학자 20명을 대상으로 반구조화된 인터뷰를 수행한다.
• 오픈 코딩과 친화 다이어그램화를 사용한 질적 분석으로 emergent theme을 식별한다.
• 교육, 데이터, 문헌 검토, 코딩, 발견, 소통에서 AI의 기회와 우려를 요약하기 위해 인터뷰 데이터를 분석한다.

실험 결과

연구 질문

• RQ1 Generative AI가 미래 과학자 교육 및 훈련에 어떤 영향을 미칠 수 있을지에 대해 과학자들이 어떻게 인식하고 있는가?
• RQ2 데이터 처리, 문헌 검토, 코딩, 실험 설계, 소통의 과학적 워크플로의 어떤 측면에서 AI가 가치를 더하거나 위험을 제기한다고 보는가?
• RQ3 과학에서 Generative AI를 사용할 때 편향, 사실성, 신뢰, 남용 가능성에 대해 과학자들이 어떤 우려를 가지고 있는가?
• RQ4 AI가 과학 출판, 동료 심사, 대중 전달 과정에 어떤 영향을 미칠 수 있는가?

주요 결과

• Generative AI는 새로운 교육 패러다임, AI 지원 문헌 검토, 데이터 생성 및 정리, AI 지원 코딩, 향상된 작문 및 피어 리뷰를 가능하게 할 수 있다.
• AI는 데이터 준비, 표지화, 데이터 분석을 가속화하고 실험 설계 및 데이터 수집을 돕는 데 기여할 수 있다.
• 우려로는 부정행위, 편향, 사실성 및 신뢰성, 출판 스팸, 잘못된 정보 또는 비판적 반성의 상실 등이 있다.
• AI 도구에 대한 신뢰는 투명성, 설명 가능성, 과학적 방법론과의 일치에 달려 있다.