[논문 리뷰] Peer Reviewing Revisited: Assessing Research with Interlinked Semantic Comments

Cristina-Iulia Bucur, Tobias Kuhn외 1명|arXiv (Cornell University)|2019. 10. 08.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 과학적 출판에서 세밀하고 상호 연결된 동료 평가 댓글을 위한 의미론적 모델인 Linkflows를 제안한다. 이는 공식적인 링크와 메타데이터를 통해 평가자의 의도를 정확하게 표현할 수 있도록 한다. 평가 결과, 평가 시점에 의미를 캡처하는 것이 사후 추출에 비해 실제값과의 불일치를 줄이며, 더 큰 동료 그룹은 '대중의 지혜' 효과로 인해 더 높은 일치도를 달성함을 보여준다.

ABSTRACT

Scientific publishing seems to be at a turning point. Its paradigm has stayed basically the same for 300 years but is now challenged by the increasing volume of articles that makes it very hard for scientists to stay up to date in their respective fields. In fact, many have pointed out serious flaws of current scientific publishing practices, including the lack of accuracy and efficiency of the reviewing process. To address some of these problems, we apply here the general principles of the Web and the Semantic Web to scientific publishing, focusing on the reviewing process. We want to determine if a fine-grained model of the scientific publishing workflow can help us make the reviewing processes better organized and more accurate, by ensuring that review comments are created with formal links and semantics from the start. Our contributions include a novel model called Linkflows that allows for such detailed and semantically rich representations of reviews and the reviewing processes. We evaluate our approach on a manually curated dataset from several recent Computer Science journals and conferences that come with open peer reviews. We gathered ground-truth data by contacting the original reviewers and asking them to categorize their own review comments according to our model. Comparing this ground truth to answers provided by model experts, peers, and automated techniques confirms that our approach of formally capturing the reviewers' intentions from the start prevents substantial discrepancies compared to when this information is later extracted from the plain-text comments. In general, our analysis shows that our model is well understood and easy to apply, and it revealed the semantic properties of such review comments.

연구 동기 및 목표

• 전통적인 과학적 출판에서의 동료 평가의 비효율성, 일관성 부족성, 투명성 부족 문제를 해결하기 위해.
• 댓글의 의미적 의도를 작성 시점에 캡처함으로써 평가 댓글을 해석하는 데 발생하는 불일치를 줄이기 위해.
• 의미론적 메타데이터로 평가 댓글을 공식화함으로써 후속 평가에서 정확성과 일관성 향상 여부를 평가하기 위해.
• 전문가보다 동료 그룹 또는 자동화된 도구가 평가자의 의도를 재구성하는 데 더 나은 성능을 보이는지 탐색하기 위해.
• 웹 상에서 연결되고 의미적으로 풍부한 데이터로 동료 평가를 표현하는 것이 실현 가능하고 유용한지를 입증하기 위해.

제안 방법

• 특정 기사 섹션과 의미론적 메타데이터(예: 감성, 실행 가능성, 영향력)에 대한 공식적 링크를 포함한 평가 댓글을 표현하기 위한 Linkflows 모델 설계.
• 컴퓨터 과학 저널 및 컨퍼런스의 개방형 동료 평가에서 수집한 수작업으로 캐릭터라이즈된 데이터셋을 구축하고, 원본 평가자로부터 실제값 레이블을 확보.
• 모델 전문가, 동료, 자동 감성 분석 도구로부터의 응답을 실제값과 비교하는 다중 액터 평가 프레임워크 사용.
• 그룹 간 일치 수준의 유의미성 평가를 위해 통계적 검정(Wilcoxon signed-rank test) 적용.
• '대중의 지혜' 가설을 검증하기 위해 동료를 더 작은 단위로 그룹화하고 불일치 점수 비교.
• 기계 처리 가능하고 감사 가능한 평가 데이터를 확보하기 위해 의미 웹 원칙, HTTP URI 및 기록 추적 기법 활용.

실험 결과

연구 질문

• RQ1 사후 분석에 비해 세밀하고 의미론적으로 풍부한 동료 평가 댓글 모델이 의미 해석의 불일치를 줄일 수 있는가?
• RQ2 모델 전문가가 동료나 자동화된 도구에 비해 평가자의 의도를 재구성하는 데 얼마나 더 높은 일치도를 보이는가?
• RQ3 동료 평가를 집계함으로써 '대중의 지혜' 효과가 일치도 향상에 기여하는가?
• RQ4 자동 감성 분석 도구가 평가 댓글의 실제값 레이블과 얼마나 일치하는가?
• RQ5 Linkflows 모델이 컴퓨터 과학 분야의 실제 개방형 동료 평가에 효과적으로 적용될 수 있는가?

주요 결과

• 사후에 평가 댓글의 의미를 재구성하는 것은 실제값과 상당한 불일치를 초래하므로, 의도를 원천에서 캡처할 필요성이 높게 부각된다.
• 모델 전문가가 동료보다 평가 댓글을 해석하는 데서 유의미하게 높은 성능을 보이지 않아 전문성만으로 정확도가 보장되지 않음을 시사한다.
• 더 큰 동료 그룹이 더 작은 그룹보다 실제값과의 불일치가 적었으며, 이는 '대중의 지혜' 효과를 확인한다.
• 세 명의 동료로 구성된 그룹의 평균 불일치도는 전체 동료 그룹보다 높았으며, 이는 더 큰 샘플에서 집단 지능이 존재함을 뒷받침한다.
• 자동 감성 분석 도구는 모델 전문가와 유사한 성능을 보였지만 여전히 실제값과 상당한 불일치를 보였다.
• Linkflows 모델은 평가 댓글의 정밀하고 기계 처리 가능한 표현을 가능하게 하여 모호성을 줄이고 과학적 평가의 추적 가능성을 향상시킨다.