[논문 리뷰] A Dataset of Peer Reviews (PeerRead): Collection, Insights and NLP Applications

Dongyeop Kang, Waleed Ammar외 5명|arXiv (Cornell University)|2018. 04. 25.

Topic Modeling참고 문헌 11인용 수 32

한 줄 요약

이 논문은 ACL, NIPS, ICLR와 같은 최상위 수준의 NLP 학회에서의 동료 검토를 포함한 공개된 첫 번째 데이터셋인 PeerRead를 소개한다. 이 데이터셋은 14.7만 개의 논문 초안과 10.7만 개의 텍스트 기반 검토를 포함한다. 본 연구는 수용 예측과 요소 점수 회귀라는 두 가지 새로운 NLP 과제를 제안하며, 수용 예측에서 기초 모델 대비 최대 21%의 오차 감소를 입증하고, '창의성'과 '영향력'과 같은 고분산 요소에서는 평균 기반 모델을 초월함을 보였다.

ABSTRACT

Peer reviewing is a central component in the scientific publishing process. We present the first public dataset of scientific peer reviews available for research purposes (PeerRead v1) providing an opportunity to study this important artifact. The dataset consists of 14.7K paper drafts and the corresponding accept/reject decisions in top-tier venues including ACL, NIPS and ICLR. The dataset also includes 10.7K textual peer reviews written by experts for a subset of the papers. We describe the data collection process and report interesting observed phenomena in the peer reviews. We also propose two novel NLP tasks based on this dataset and provide simple baseline models. In the first task, we show that simple models can predict whether a paper is accepted with up to 21% error reduction compared to the majority baseline. In the second task, we predict the numerical scores of review aspects and show that simple models can outperform the mean baseline for aspects with high variance such as 'originality' and 'impact'.

연구 동기 및 목표

• 과학적 동료 검토 데이터를 공개함으로써 동료 검토 연구에 대한 접근 장벽을 낮추기 위해.
• 과학적 출판에서 검토 품질, 일관성 및 잠재적 편향에 대한 정량적 분석을 가능하게 하기 위해.
• 논문 수용 예측 및 특정 요소에 대한 수치적 검토 점수 추정과 같은 두 가지 새로운 과제를 도입함으로써 NLP 연구를 지원하기 위해.
• 자동 검토 생성 또는 의사결정 지원과 같은 모델을 훈련하고 평가하기 위한 자원을 제공하기 위해.
• 연구 공동체가 실제 동료 검토 데이터에 접근할 수 있도록 함으로써 과학적 평가의 투명성과 재현 가능성을 증진하기 위해.

제안 방법

• 데이터셋은 Softconf 관리 시스템을 사용한 학회에서 참가자 및 검토자들의 동의를 얻어 수집되었으며, ACL 2017, CoNLL 2016, NIPS 2013–2017 포함.
• 추가로 OpenReview 등의 공개 자료에서 검토를 크롤링하였으며, '명확성', '창의성', '영향력' 등의 요소에 대해 수치 점수를 부여하였다.
• 2007–2017년 사이의 11,778개의 arXiv 논문 서브셋을 활용하여 주요 학회에 게재된 논문을 식별함으로써 다수의 학회 간 일치를 가능하게 하였다.
• 최종 데이터셋은 14.7만 개의 논문 초안(수용/기각 결정 포함)과 10.7만 개의 전문 텍스트 검토(요소 수준 점수 포함)를 포함한다.
• 두 가지 NLP 과제를 정의하였다: (1) 논문 및 검토 텍스트를 기반으로 한 수용 여부 이진 분류, (2) 텍스트 및 구조적 특징을 사용한 요소 점수의 다중 회귀.
• 간단한 기초 모델(로지스틱 회귀 및 피드포워드 네트워크)을 텍스트 특징(예: 부록 존재 여부)과 검토 내용을 기반으로 학습하여 결과를 예측하였다.

실험 결과

연구 질문

• RQ1 최상위 수준의 NLP 학회에서 논문 수용 결정과 관련된 주요 언어적 및 구조적 특징는 무엇인가?
• RQ2 요소 수준의 검토 점수(예: 명확성, 창의성)는 종합적인 추천 및 수용 결과와 어떻게 관련이 있는가?
• RQ3 간단한 NLP 모델이 기초 모델보다 논문 수용 또는 요소 점수를 더 잘 예측할 수 있는가?
• RQ4 口頭 발표를 위한 추천 여부와 포스터 발표를 위한 추천 여부를 구분하는 데 있어 동료 검토에서 식별 가능한 패턴은 무엇인가?
• RQ5 저자 인적 특성 또는 소속 기관과 관련된 편향이 동료 검토에서 감지 가능한가?

주요 결과

• PeerRead 데이터셋의 네 개 섹션에서 수용 예측에 대해 간단한 모델이 다수 기반 모델 대비 최대 21%의 오차 감소를 기록하였다.
• 요소 점수 예측에서, '창의성'과 '영향력'과 같이 분산이 큰 요소에서는 모델이 평균 기반 모델을 초월하여 성능을 발휘함을 확인하여, 이러한 요소들이 더 예측 가능한 신호를 지닌다는 것을 시사한다.
• 논문에 부록이 존재하는 것은 수용률이 높아지는 것으로 관찰되어, 구조적 특징가 검토자의 결정에 영향을 줄 수 있음을 시사한다.
• 종합적인 추천 점수와 구두 발표 추천 여부 사이에 높은 상관관계가 존재하여, 전반적 평가와 특정 평가 판단 간 일관성이 있음을 나타낸다.
• 데이터셋은 검토자가 '명확성'과 '기술적 품질'에 대해 높은 점수를 주는 경향이 있지만, '창의성'과 '영향력'은 더 큰 분산을 보이며, 이는 더 예측하기 어려운 요소임을 시사한다.
• 표준화된 데이터 수집 및 일관된 레이블링을 통해 연구 간 복제 및 공정한 비교가 가능해졌으며, 이는 데이터셋의 핵심 장점이다.