[논문 리뷰] Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions

Cheng Tan, Dongxin Lyu외 6명|arXiv (Cornell University)|2024. 06. 09.

Interdisciplinary Research and CollaborationDecision Sciences인용 수 3

한 줄 요약

이 논문은 저자, 심사위원, 결론 결정자라는 세 가지 역할을 가진 다회차, 장문의 대화로 학술 동료 심사 과정을 재구성하며, ICLR 및 네이처 커뮤니케이션과 같은 주요 학술지에서 유래한 26,841篇의 논문과 92,017건의 주석이 달린 심사 평가를 포함한 ReviewMT 데이터셋을 제안한다. 이는 Supervised fine-tuning을 통해 LLM 성능이 다회차 상호작용에서 특히 두드러지게 향상되어 현실적이고 역할에 맞는 심사 평가 및 결정을 생성하는 데 기여함을 보여준다.

ABSTRACT

Large Language Models (LLMs) have demonstrated wide-ranging applications across various fields and have shown significant potential in the academic peer-review process. However, existing applications are primarily limited to static review generation based on submitted papers, which fail to capture the dynamic and iterative nature of real-world peer reviews. In this paper, we reformulate the peer-review process as a multi-turn, long-context dialogue, incorporating distinct roles for authors, reviewers, and decision makers. We construct a comprehensive dataset containing over 26,841 papers with 92,017 reviews collected from multiple sources, including the top-tier conference and prestigious journal. This dataset is meticulously designed to facilitate the applications of LLMs for multi-turn dialogues, effectively simulating the complete peer-review process. Furthermore, we propose a series of metrics to evaluate the performance of LLMs for each role under this reformulated peer-review setting, ensuring fair and comprehensive evaluations. We believe this work provides a promising perspective on enhancing the LLM-driven peer-review process by incorporating dynamic, role-based interactions. It aligns closely with the iterative and interactive nature of real-world academic peer review, offering a robust foundation for future research and development in this area. We open-source the dataset at https://github.com/chengtan9907/ReviewMT.

연구 동기 및 목표

• 기존 LLM 응용 프로그램이 동료 심사에 있어 정적이고 단일 스텝인 성격을 해결하기 위해 심사 과정을 동적이고 반복적인 대화로 모델링한다.
• 반박, 피드백 루프, 역할 기반 책임 등 실제 동료 심사의 전체적인 복잡성을 포괄한다.
• ICLR 및 네이처 커뮤니케이션과 같은 주요 학술지에서 유래한 다량의 소스 데이터를 포함한 대규모 다회차 대화 데이터셋(ReviewMT)을 구축한다.
• 심사위원, 저자, 결정자 각 역할에 맞는 평가 지표를 개발하여 LLM 성능을 공정하게 평가한다.
• Supervised fine-tuning을 통해 ReviewMT 데이터셋을 학습시켜 LLM이 정확하고 맥락 인식이 되며 역할에 적합한 동료 심사 응답을 생성하는 능력이 크게 향상됨을 입증한다.

제안 방법

• 저자, 심사위원, 결정자라는 세 가지 역할을 포함한 다회차, 장문의 대화로 동료 심사 과정을 재구성한다.
• ICLR(이하 ICLR)와 네이처 커뮤니케이션(NC)에서 실제 동료 심사 상호작용을 수집하여 ReviewMT 데이터셋을 구축하며, 전체 심사 역사를 포함한다.
• 각 대화 단계에 역할 기반 맥락을 주석 처리하여 원문의 전반적인 기반과 반복적 상호작용 추적을 보장한다.
• 각 역할에 맞는 평가 지표 세트를 설계: 심사 일치율, 결론 일치율, F1 점수, 텍스트 유사도를 통한 응답 품질 평가.
• LLM 성능 향상을 위해 ReviewMT 데이터셋을 대상으로 Supervised fine-tuning을 적용한다.
• 두 가지 테스트 분할(ReviewMT-ICLR: 다회차, ReviewMT-NC: 단일회차)에서 LLM을 제로샷 및 파인튜닝 설정으로 평가하며, 다양한 모델 간 정량적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 실제 학술 심사의 반복적이고 상호작용적인 성격을 반영할 수 있는 다회차, 역할 기반의 대화로 동료 심사를 효과적으로 모델링할 수 있는가?
• RQ2 다회차 상호작용과 장문의 원고 기반 정보를 포함할 경우, LLM의 현실적인 동료 심사 응답 생성 능력에 어떤 영향을 미치는가?
• RQ3 ReviewMT 데이터셋을 대상으로 한 Supervised fine-tuning이 LLM의 정확하고 맥락 인식이 되며 역할에 맞는 심사 평가 및 결정 생성 능력 향상에 어느 정도 기여하는가?
• RQ4 다회차 동료 심사 대화의 맥락에서 다양한 LLM 아키텍처가 심사위원, 저자, 결정자 세 역할에서 어떻게 성능을 발휘하는가?
• RQ5 특히 다회차 대화 대비 단일회차 대화의 구조가 파인튜닝의 성능 향상에 어떤 영향을 미치는가?

주요 결과

• ReviewMT-ICLR 데이터셋을 대상으로 한 Supervised fine-tuning은 LLM 성능을 크게 향상시키며, 최고의 모델은 심사위원 역할에서 F1 점수 94.20%와 결론 일치율 81.11%를 기록했다.
• Gemma 모델는 최고의 결론 일치율(81.11%)과 높은 F1 점수(0.9420)를 기록하여 역할 기반 결론 도출 능력이 뛰어나다는 것을 보여주었다.
• 제로샷 성능은 일관되게 낮았으며, 대부분의 모델에서 결론 일치율이 25% 이하로 나타나 현실적인 동료 심사 생성을 위해서는 파인튜닝이 필수적임을 시사한다.
• 다회차 대화를 포함한 ReviewMT-ICLR 데이터셋은 단일회차 ReviewMT-NC 데이터셋보다 더 높은 성능 향상을 이끌어내어 대화의 복잡성의 가치를 입증한다.
• 텍스트 유사도 지표 분석 결과, 파인튜닝된 모델은 특히 다회차 환경에서 인간이 작성한 심사 평가와 스타일과 내용 면에서 유사한 응답을 생성함을 보였다.
• Yuan 모델는 완벽한 1.0000 F1 점수를 기록했지만 결론 일치율은 0.05%에 불과하여 강력한 심사 평가 품질에도 불구하고 결론 도출 능력이 지나치게 제한되어 있음을 시사한다.