[논문 리뷰] Development of the ChatGPT, Generative Artificial Intelligence and Natural Large Language Models for Accountable Reporting and Use (CANGARU) Guidelines

Giovanni Cacciamani, Michael Eppler외 5명|arXiv (Cornell University)|2023. 07. 18.

Artificial Intelligence in Healthcare and Education인용 수 14

한 줄 요약

이 논문은 CANGARU 이니셔티브를 통해 학계에서 GAI/GPT/LLM의 윤리적 사용, 공개 및 보고에 대한 글로벌, 교차 학문적 지침을 개발하기 위한 네 부분 프로토콜을 제시한다.

ABSTRACT

The swift progress and ubiquitous adoption of Generative AI (GAI), Generative Pre-trained Transformers (GPTs), and large language models (LLMs) like ChatGPT, have spurred queries about their ethical application, use, and disclosure in scholarly research and scientific productions. A few publishers and journals have recently created their own sets of rules; however, the absence of a unified approach may lead to a 'Babel Tower Effect,' potentially resulting in confusion rather than desired standardization. In response to this, we present the ChatGPT, Generative Artificial Intelligence, and Natural Large Language Models for Accountable Reporting and Use Guidelines (CANGARU) initiative, with the aim of fostering a cross-disciplinary global inclusive consensus on the ethical use, disclosure, and proper reporting of GAI/GPT/LLM technologies in academia. The present protocol consists of four distinct parts: a) an ongoing systematic review of GAI/GPT/LLM applications to understand the linked ideas, findings, and reporting standards in scholarly research, and to formulate guidelines for its use and disclosure, b) a bibliometric analysis of existing author guidelines in journals that mention GAI/GPT/LLM, with the goal of evaluating existing guidelines, analyzing the disparity in their recommendations, and identifying common rules that can be brought into the Delphi consensus process, c) a Delphi survey to establish agreement on the items for the guidelines, ensuring principled GAI/GPT/LLM use, disclosure, and reporting in academia, and d) the subsequent development and dissemination of the finalized guidelines and their supplementary explanation and elaboration documents.

연구 동기 및 목표

• 학계에서 GAI/GPT/LLM의 윤리적 사용 및 공개를 위한 통일되고 교차학문적 표준의 필요성을 촉진한다.
• CANGARU 이니셔티브와 포용적 글로벌 합의를 촉진하려는 목표를 설명한다.
• 지침을 개발, 검증 및 보급하기 위한 네 부분 프로토콜을 개요한다.
• 일관되지 않은 발행자 규칙 및 보고 관행으로 인한 Babel Tower 효과의 위험을 다룬다.

제안 방법

• 네 부분 프로토콜: 학술 연구에서 GAI/GPT/LLM 응용 및 보고 표준에 대한 지속적인 체계적 고찰.
• GAI/GPT/LLM를 언급하는 저널의 기존 저자 지침에 대한 계량서지학적 분석을 통해 격차를 평가하고 공통 규칙을 식별한다.
• 원칙에 입각한 사용, 공개 및 보고를 보장하는 지침 항목에 대한 합의 수립을 위한 Delphi 설문조사.
• 보완 설명 및 자세한 문서와 함께 확정된 지침의 개발 및 보급.

실험 결과

연구 질문

• RQ1 학술 연구에서 GAI/GPT/LLM와 관련된 현재의 보고 표준 및 아이디어는 무엇인가?
• RQ2 GAI/GPT/LLM를 언급하는 저널에서 기존의 저자 지침은 어떻게 다르고 어떤 공통 규칙이 나타나는가?
• RQ3 학계에서의 GAI/GPT/LLM의 윤리적 사용 및 공개를 위한 CANGARU 지침에 포함될 합의 항목은 무엇인가?
• RQ4 완성된 지침을 어떻게 효과적으로 보급하고 학문 간 채택할 수 있는가?

주요 결과

• 본 논문은 학계에서 GAI/GPT/LLM에 대한 책임 있는 보고 지침 개발을 위한 네 부분 프로토콜을 정의한다.
• 체계적 고찰, 계량서지학적 분석, Delphi 설문조사 및 보급 계획을 핵심 방법론으로 제안한다.
• 이 접근법은 서로 다른 발행자 규칙을 조화시켜 Babel Tower 효과를 방지하는 것을 목표로 한다.
• 이 이니셔티브는 학술 연구에서 GAI/GPT/LLM의 윤리적 사용, 공개 및 보고에 대한 교차 학문적 글로벌 포괄적 합의를 구축하려고 한다.