[논문 리뷰] A Critical Examination of the Ethics of AI-Mediated Peer Review

Laurie A. Schintler, Connie L. McNeely외 1명|arXiv (Cornell University)|2023. 09. 02.

Artificial Intelligence in Healthcare and Education인용 수 9

한 줄 요약

이 논문은 AI로 매개된 동료 심사의 윤리를 비판적으로 분석하고, 도덕적, 인식론적, 규제 규범과의 정렬을 주장하며 제도적 맥락에서 규범-반규범 역학을 검토한다.

ABSTRACT

Recent advancements in artificial intelligence (AI) systems, including large language models like ChatGPT, offer promise and peril for scholarly peer review. On the one hand, AI can enhance efficiency by addressing issues like long publication delays. On the other hand, it brings ethical and social concerns that could compromise the integrity of the peer review process and outcomes. However, human peer review systems are also fraught with related problems, such as biases, abuses, and a lack of transparency, which already diminish credibility. While there is increasing attention to the use of AI in peer review, discussions revolve mainly around plagiarism and authorship in academic journal publishing, ignoring the broader epistemic, social, cultural, and societal epistemic in which peer review is positioned. The legitimacy of AI-driven peer review hinges on the alignment with the scientific ethos, encompassing moral and epistemic norms that define appropriate conduct in the scholarly community. In this regard, there is a "norm-counternorm continuum," where the acceptability of AI in peer review is shaped by institutional logics, ethical practices, and internal regulatory mechanisms. The discussion here emphasizes the need to critically assess the legitimacy of AI-driven peer review, addressing the benefits and downsides relative to the broader epistemic, social, ethical, and regulatory factors that sculpt its implementation and impact.

연구 동기 및 목표

• 동료 심사에 AI를 사용하는 것의 윤리적 및 인식론적 의미를 평가한다.
• AI 매개 심사가 과학적 규범 및 더 넓은 학술 생태계와의 정합성을 평가한다.
• AI의 동료 심사에서의 수용 가능성과 거버넌스에 영향을 주는 규범적 프레임워크와 제도적 논리를 검토한다.

제안 방법

• 저자들은 AI 매개 동료 심사에서의 윤리에 대해 규범적이고 개념적인 고찰을 제시한다.
• 그들은 맥락에서의 정당성을 이해하기 위해 규범-대응규범 연속체의 개념을 논의한다.
• 그들은 실증적 실험 없이 이익, 단점 및 규제 고려사항을 분석한다.
• 그들은 AI 심사를 더 넓은 인식론적, 사회적, 문화적 및 사회적 요인들 속에 위치시킨다.

실험 결과

연구 질문

• RQ1 AI 매개 동료 심사에서 어떤 윤리적 및 인식론적 규범이 지배해야 하는가?
• RQ2 제도적 논리와 규제 메커니즘은 동료 심사에서 AI의 수용 가능성에 어떻게 영향을 미치는가?
• RQ3 전통적 동료 심사와 비교할 때 AI 기반 심사의 잠재적 이익과 해는 무엇인가?
• RQ4 과학적 에토스 내에서 AI 매개 동료 심사의 정당성을 어떻게 평가할 수 있는가?

주요 결과

• AI 매개 동료 심사는 효율성에 대한 가능성을 제시하지만, 무결성에 영향을 미칠 수 있는 윤리적 및 사회적 우려를 제기한다.
• 인간 동료 심사 역시 편향, 남용 및 투명성 문제로 고통받아 단순한 리스크-베네핏 판단을 복잡하게 만든다.
• 정당성은 도덕적 및 인식론적 규범과의 정합성에 달려 있으며 제도적 관행과 거버넌스의 영향을 받는다.
• 규범-대응규범 연속체가 맥락에 따라 AI가 동료 심사에서 어떻게 인식되고 채택되는지 영향을 준다.