[論文レビュー] A Critical Examination of the Ethics of AI-Mediated Peer Review

Laurie A. Schintler, Connie L. McNeely+1 more|arXiv (Cornell University)|Sep 2, 2023

Artificial Intelligence in Healthcare and Education被引用数 9

ひとこと要約

この論文はAIを介在させた査読の倫理を批判的に分析し、道徳的・認識論的・規制的規範への適合を主張し、機関的文脈における規範-反規範のダイナミクスを検討する。

ABSTRACT

Recent advancements in artificial intelligence (AI) systems, including large language models like ChatGPT, offer promise and peril for scholarly peer review. On the one hand, AI can enhance efficiency by addressing issues like long publication delays. On the other hand, it brings ethical and social concerns that could compromise the integrity of the peer review process and outcomes. However, human peer review systems are also fraught with related problems, such as biases, abuses, and a lack of transparency, which already diminish credibility. While there is increasing attention to the use of AI in peer review, discussions revolve mainly around plagiarism and authorship in academic journal publishing, ignoring the broader epistemic, social, cultural, and societal epistemic in which peer review is positioned. The legitimacy of AI-driven peer review hinges on the alignment with the scientific ethos, encompassing moral and epistemic norms that define appropriate conduct in the scholarly community. In this regard, there is a "norm-counternorm continuum," where the acceptability of AI in peer review is shaped by institutional logics, ethical practices, and internal regulatory mechanisms. The discussion here emphasizes the need to critically assess the legitimacy of AI-driven peer review, addressing the benefits and downsides relative to the broader epistemic, social, ethical, and regulatory factors that sculpt its implementation and impact.

研究の動機と目的

• AIを査読に用いることの倫理的および認識論的影響を評価する。
• AIを介在させた査読が科学的規範およびより広い学術エコシステムとどのように整合するかを評価する。
• AIを用いた査読の受容可能性とガバナンスに影響を与える規範的枠組みと制度的ロジックを検討する。

提案手法

• 著者らはAIを介在させた査読における倫理の規範的・概念的検討を提供する。
• 彼らは文脈における正当性を理解するための規範-反規範連続体の概念を論じる。
• 経験的実験を伴わず、利点・欠点と規制上の考慮事項を分析する。
• AI査読をより広い認識論的・社会的・文化的・社会的要因の中に位置づける。

実験結果

リサーチクエスチョン

• RQ1 AIを介在させた査読を支配すべき倫理的および認識論的規範は何か？
• RQ2 制度的ロジックと規制機序は査読におけるAIの受容性をどのように形づくるか？
• RQ3 従来の査読と比較してAI主導の査読の潜在的な利点と害は何か？
• RQ4 科学的倫理の中でAIを介在させた査読の正当性をいかに評価できるか？

主な発見

• AIを介在させた査読は効率性の可能性を示す一方で、倫理的・社会的懸念を招き、整合性に影響を及ぼす可能性がある。
• 人間の査読も偏見・乱用・透明性の問題を抱え、単純なリスク対利益の判断を複雑にする。
• 正当性は道徳的・認識論的規範との整合性に依存し、制度的な実践とガバナンスの影響を受ける。
• 規範-反規範連続体は、査読におけるAIが文脈を超えてどのように認識・採用されるかを形成する。