[論文レビュー] Development of the ChatGPT, Generative Artificial Intelligence and Natural Large Language Models for Accountable Reporting and Use (CANGARU) Guidelines

Giovanni Cacciamani, Michael Eppler+5 more|arXiv (Cornell University)|Jul 18, 2023

Artificial Intelligence in Healthcare and Education被引用数 14

ひとこと要約

本論文は、GAI/GPT/LLMの学術界における倫理的利用・開示・報告のためのグローバルで学際的なガイドラインを、4部構成のプロトコルを通じて開発するCANGARUイニシアティブを紹介します。

ABSTRACT

The swift progress and ubiquitous adoption of Generative AI (GAI), Generative Pre-trained Transformers (GPTs), and large language models (LLMs) like ChatGPT, have spurred queries about their ethical application, use, and disclosure in scholarly research and scientific productions. A few publishers and journals have recently created their own sets of rules; however, the absence of a unified approach may lead to a 'Babel Tower Effect,' potentially resulting in confusion rather than desired standardization. In response to this, we present the ChatGPT, Generative Artificial Intelligence, and Natural Large Language Models for Accountable Reporting and Use Guidelines (CANGARU) initiative, with the aim of fostering a cross-disciplinary global inclusive consensus on the ethical use, disclosure, and proper reporting of GAI/GPT/LLM technologies in academia. The present protocol consists of four distinct parts: a) an ongoing systematic review of GAI/GPT/LLM applications to understand the linked ideas, findings, and reporting standards in scholarly research, and to formulate guidelines for its use and disclosure, b) a bibliometric analysis of existing author guidelines in journals that mention GAI/GPT/LLM, with the goal of evaluating existing guidelines, analyzing the disparity in their recommendations, and identifying common rules that can be brought into the Delphi consensus process, c) a Delphi survey to establish agreement on the items for the guidelines, ensuring principled GAI/GPT/LLM use, disclosure, and reporting in academia, and d) the subsequent development and dissemination of the finalized guidelines and their supplementary explanation and elaboration documents.

研究の動機と目的

• 学術界におけるGAI/GPT/LLMの倫理的利用と開示のための、統一された学際横断的標準の必要性を喚起する。
• CANGARUイニシアティブと、包摂的な全球的合意を育成することを目標とする説明。
• ガイドラインを開発・検証・普及させるための4部構成プロトコルの概説。
• 不一致な出版社ルールや報告慣行によるBabel Tower効果のリスクに対処する。

提案手法

• 4部構成プロトコル：学術研究におけるGAI/GPT/LLMの適用と報告基準の継続的な体系的レビュー。
• GAI/GPT/LLMに言及するジャーナルの既存著者ガイドラインの文献計量分析を行い、格差を評価し共通ルールを特定する。
• Delphi調査を実施して、原則的な利用・開示・報告を確保するガイドライン項目の合意を確立する。
• 詳説文書と補足的説明・解説資料を含む最終ガイドラインの作成と普及。

実験結果

リサーチクエスチョン

• RQ1 学術研究におけるGAI/GPT/LLMに関連する現在の報告基準と考え方は何か？
• RQ2 GAI/GPT/LLMに言及するジャーナル間で既存の著者ガイドラインはどのように異なり、どの共通ルールが浮かび上がるか？
• RQ3 学術界におけるGAI/GPT/LLMの倫理的利用と開示のために、CANGARUガイドラインに含まれるべき合意項目は何か？
• RQ4 最終的なガイドラインを学問分野を超えて効果的に普及・採用するにはどうすればよいか？

主な発見

• 本論文は、学術界におけるGAI/GPT/LLMの説明責任ある報告ガイドラインを開発するための4部構成プロトコルを定義している。
• 体系的レビュー、文献計量分析、Delphi調査、普及計画を核心的手法として提案している。
• このアプローチは、異なる出版社ルールを調和させることによりBabel Tower効果を防ぐことを目指す。
• このイニシアティブは、学術研究におけるGAI/GPT/LLMの倫理的利用・開示・報告について、学際的な全球的包摯合意を確立することを目指す。