[논문 리뷰] What Can Natural Language Processing Do for Peer Review?

Ilia Kuznetsov, Osama Mohammed Afzal외 22명|TUbilio (Technical University of Darmstadt)|2024. 05. 10.

Topic Modeling인용 수 5

한 줄 요약

논문은 NLP가 AI 학회 심사 전체 생애주기에서 동료 심사를 어떻게 도울 수 있는지 조사하며 기회, 도전과 행동 촉구를 제시한다.

ABSTRACT

The number of scientific articles produced every year is growing rapidly. Providing quality control over them is crucial for scientists and, ultimately, for the public good. In modern science, this process is largely delegated to peer review -- a distributed procedure in which each submission is evaluated by several independent experts in the field. Peer review is widely used, yet it is hard, time-consuming, and prone to error. Since the artifacts involved in peer review -- manuscripts, reviews, discussions -- are largely text-based, Natural Language Processing has great potential to improve reviewing. As the emergence of large language models (LLMs) has enabled NLP assistance for many new tasks, the discussion on machine-assisted peer review is picking up the pace. Yet, where exactly is help needed, where can NLP help, and where should it stand aside? The goal of our paper is to provide a foundation for the future efforts in NLP for peer-reviewing assistance. We discuss peer review as a general process, exemplified by reviewing at AI conferences. We detail each step of the process from manuscript submission to camera-ready revision, and discuss the associated challenges and opportunities for NLP assistance, illustrated by existing work. We then turn to the big challenges in NLP for peer review as a whole, including data acquisition and licensing, operationalization and experimentation, and ethical issues. To help consolidate community efforts, we create a companion repository that aggregates key datasets pertaining to peer review. Finally, we issue a detailed call for action for the scientific community, NLP and AI researchers, policymakers, and funding bodies to help bring the research in NLP for peer review forward. We hope that our work will help set the agenda for research in machine-assisted scientific quality control in the age of AI, within the NLP community and beyond.

연구 동기 및 목표

• NLP를 동료 심사 보조의 문제 공간으로 매핑한다.
• AI 학회 심사 프로세스의 각 단계에서 NLP가 도움을 줄 수 있는 부분을 식별한다.
• 데이터, 윤리, 평가에서의 도전을 강조한다.
• 동반 데이터 저장소를 제안하고 커뮤니티 참여를 촉구한다.

제안 방법

• AI 학회 동료 심사 과정을 실행 예로 구조적으로 살펴본다.
• 각 단계(사전 심사, 심사 중, 사후)에 대해 NLP 보조 작업의 가능성을 논의한다.
• 기존 연구들과 데이터 수집, 라이선스, 평가에 대한 실용적 메모로 설명한다.
• 동료 심사에 관련된 데이터셋을 모아 공유하는 동반 저장소를 제안한다.
• 윤리적, 법적, 방법론적 고려사항을 제시하여 향후 연구를 안내한다.

(a) Key stages of peer review

실험 결과

연구 질문

• RQ1 동료 심사 프로세스의 각 단계를 의미 있게 지원할 수 있는 NLP 작업은 무엇인가?
• RQ2 데이터, 라이선스, 평가, 윤리 등 NLP를 동료 심사에 배치할 때의 주요 도전 과제는 무엇인가?
• RQ3 완전 자동화 없이 NLP 도구가 심사 효율성, 품질, 신뢰를 어떻게 향상시킬 수 있는가?
• RQ4 기계 지원 동료 심사를 앞으로 발전시키기 위한 인프라, 데이터셋, 협력 노력이 무엇인가?
• RQ5 NLP-enabled 동료 심사 연구에 수반될 최선의 관행과 정책은 무엇인가?

주요 결과

• NLP는 제출 심사 screening, reviewer–paper 매칭에서부터 리뷰 분석 및 메타리뷰에 이르는 다양한 심사 단계에서 도울 수 있다.
• 현재 유사도 기반의 reviewer–paper 점수 매기기 및 키워드 기반 매칭은 한계와 해석성 문제를 가진다.
• 윤리적, 법적, 데이터 문제, 편향, 투명성, 라이선스 등은 NLP를 동료 심사에 배치하는 데 핵심적이다.
• 동료 심사에 관련된 데이터셋을 모아 공유하는 동반 저장소를 제안하여 커뮤니티 협력을 촉진한다.
• 전체 심사 자동화는 여전히 가능성이 낮지만, 목표된 NLP 도구는 업무 부담을 의미 있게 감소시키고 프로세스의 견고성을 개선할 수 있다.

Figure 2 : Areas of assistance before peer review.