[논문 리뷰] Peer-review in the Internet age

Paweł Sobkowicz|ArXiv.org|2008. 10. 02.

Complex Network Analysis Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 인터넷 기반 네트워크 분석과 자동화된 인용 모델링—특히 무작위 인용 과학자 프레임워크를 활용하여 피어 리뷰의 효율성을 높이고, 심사위원이 보다 효율적으로 관련성 있고 경쟁력 있는 문헌을 식별할 수 있도록 돕는 방법을 제안한다. 인용 네트워크의 특성을 활용해 핵심 참고문헌을 제안함으로써, 과학 문헌의 기하급수적 증가에 대비해 심사위원의 부담을 줄이고 리뷰 품질을 향상시킨다.

ABSTRACT

The importance of peer-review in the scientific process can not be overestimated. Yet, due to increasing pressures of research and exponentially growing number of publications the task faced by the referees becomes ever more difficult. We discuss here a few possible improvements that would enable more efficient review of the scientific literature, using the growing Internet connectivity. In particular, a practical automated model for providing the referees with references to papers that might have strong relationship with the work under review, based on general network properties of citations is proposed.

연구 동기 및 목표

• 과학 논문의 기하급수적 증가로 인해 철저한 피어 리뷰를 수행하는 데 점점 더 어려움을 겪고 있는 문제를 해결하기 위해.
• 수기 심사자들이 논문과 관련된 관련성 있고 경쟁력 있는 문헌을 자동으로 탐색함으로써 심사자의 부담을 줄이기 위해.
• 심사자들이 기초적이고 비교적 중요한 문헌에 더 나은 접근성을 제공함으로써 피어 리뷰의 품질과 일관성을 향상시키기 위해.
• 다른 저널 간에 피어 리뷰 평가를 재사용함으로써 중복 제출과 반복적인 기각을 줄이기 위해.
• 익명성 제거와 리뷰 역사를 공개적으로 공유함으로써 피어 리뷰의 투명성과 책임성을 향상시키기 위해.

제안 방법

• Sim킨 및 Roychowdhury(2005)가 제안한 무작위 인용 과학자 모델을 변형하여, 확률 p로 랜덤 선택 및 참조 복사 기반의 인용 행동을 시뮬레이션한다.
• 심사 대상 논문과 강한 구조적 유사성을 보이는 논문을 인용 그래프의 네트워크 특성을 분석하여 식별한다.
• 과학 문헌 네트워크 내의 인용 연결성과 근접성을 분석하여 관련 참고문헌의 자동 제안을 자동화한다.
• 동일 출판사 소속 저널 간에 피어 리뷰 평가를 통합하여 중복 리뷰를 방지하는 것을 제안한다.
• Faculty of 1000와 유사한 디지털 플랫폼을 활용해 피어 리뷰와 저자 답변을 공개하고 연결하여 배포함으로써, 리뷰 기록의 투명성을 높인다.
• 전문가의 솔직한 평가를 유지하면서도 심사자의 책임감을 높이기 위해 익명이 아닌 리뷰 방식을 통합한다.

실험 결과

연구 질문

• RQ1 자동화된 인용 네트워크 분석은 피어 리뷰를 위한 관련 문헌 식별의 효율성과 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 동일 출판사 내 여러 저널 간에 공유된 리뷰 풀을 도입할 경우, 제출 주기 수와 심사자의 부담은 얼마나 줄어들 수 있는가?
• RQ3 공개적이고 익명이 아닌 피어 리뷰 제도는 리뷰 과정의 품질과 신뢰성에 어떤 영향을 미칠 수 있는가?
• RQ4 기존의 인터넷 기술을 활용해 과학 출판 분야의 피어 리뷰 워크플로우를 표준화하고 간소화할 수 있는가?
• RQ5 자동화된 참고문헌 제안 도구는 심사자나 저자가 핵심 문헌을 놓칠 위험을 어떻게 줄일 수 있는가?

주요 결과

• 무작위 인용 과학자 모델은 콘텐츠나 품질에 대한 최소한의 가정으로도 실제 인용 네트워크 통계, 특히 무거운 尾 꼬리 분포를 성공적으로 재현한다.
• 많은 저자와 심사자가 논문을 읽지 않은 채 인용하는 경우가 많으며, 이는 인용 오류의 연쇄적 발생을 통해 뚜렷하게 드러나므로, 자동화된 참고문헌 탐색이 필수적이며 실현 가능하다는 것을 시사한다.
• 인용 네트워크의 구조적 특성을 기반으로 한 자동화된 도구는 심사자가 핵심 비교 문헌을 찾는 데 소요되는 시간과 노력을 크게 줄일 수 있다.
• 동일 출판사 내 저널 간에 피어 리뷰를 통합하면 중복 리뷰 주기를 줄이고 피드백의 일관성을 향상시킬 수 있다.
• 피어 리뷰와 저자 답변을 공개적으로 공유함—특히 익명이 아닌 방식으로—함으로써 투명성과 책임성, 그리고 과학적 논의의 전반적인 품질을 향상시킬 수 있다.
• Faculty of 1000에서 사용하는 디지털 도구의 통합은 전문가가 큐레이션한 실시간 과학 문헌 평가가 실현 가능하고 확장 가능한 방식임을 입증한다.