[논문 리뷰] Peer review and journal models

Paolo Dall'Aglio|ArXiv.org|2006. 08. 31.

scientometrics and bibliometrics research참고 문헌 23인용 수 10

한 줄 요약

이 논문은 대안적 동료평가 및 저널 모델을 분석하며, 주제 집중점(SFPs)이 분산된 원천에서 콘텐츠를 집계하는 분해된 저널 프레임워크를 제안한다. 이 프레임워크는 독립된 평가 기관이 품질을 평가한다. 이는 분산된 학술 커뮤니케이션을 위한 개념적 모델을 기여하며, 모듈성, 개방형 액세스, 공동체 기반 평가를 강조하지만, 영향력 지수나 개방형 액세스 경제학을 평가하지는 않는다.

ABSTRACT

Tentative analysis of alternative peer review and journal models. Open Access and Impact factor issues are not covered. The bibliography, in alphabetical order, lists articles and web sites (with brief description).

연구 동기 및 목표

• 기존의 저널을 초월한 학술 출판을 위한 대안적 모델을 탐구하기 위해.
• 디지털 기술을 활용해 동료평가 및 저널 형태가 어떻게 재구상될 수 있는지 검토하기 위해.
• 출판 외적 기능, 예를 들어 인증, 보존, 인정과 같은 저널의 기능 역할을 식별하기 위해.
• 콘텐츠 호스팅, 동료평가, 탐색 기능을 분리하는 분산 모델을 제안하기 위해.
• 신뢰할 수 있는 모델과 그 구조적 영향을 분석함으로써 학술 커뮤니케이션 논의에 기여하기 위해.

제안 방법

• 주제 집중점(SFPs)이 분산된 원천에서 콘텐츠를 집계하고 색인화하는 분해된 저널(DJ) 모델을 제안한다.
• 저널의 전통적 형태에서 분리된 독립 평가 기관을 도입하며, 이 기관은 저자들이 평가를 신청할 때 비용을 지불한다.
• 보존 기능은 JSTOR나 지역 레포지터리와 같은 비영리 기관에서 담당하도록 제안한다.
• 저자가 먼저 출판하고, 평가를 신청하며, 수정한 후 관련성이 있다면 SFPs가 이를 목록화하는 워크플로우를 제시한다.
• 지속적이고 업데이트되는, 공동체가 검증한 리뷰 과정을 성공적으로 운영하는 사례로 Living Reviews, JHEP, JAMA의 개방형 코멘터리를 분석한다.
• 실제로 동료평가 및 배포 실험을 수행한 다양한 디지털 플랫폼(예: Naboj, Philica, PLoS ONE)을 인용하고 기술하여 구현 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 학술 저널의 학술 출판 외의 핵심 기능은 무엇인가?
• RQ2 어떻게 동료평가를 기존 저널 구조에서 분리할 수 있는가?
• RQ3 기존의 구독 기반 저널을 대체하거나 보완할 수 있는 대안적 모델은 무엇인가?
• RQ4 분산된 학술 커뮤니케이션 환경에서 품질 보증과 인정은 어떻게 유지될 수 있는가?
• RQ5 디지털 인프라(예: 메타데이터 표준, 레포지터리)는 새로운 출판 모델을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 분해된 저널 모델은 콘텐츠 배포, 동료평가, 탐색 기능을 분리함으로써 모듈성과 확장성을 가진 학술 커뮤니케이션을 가능하게 한다.
• 주제 집중점(SFPs)은 기사 호스팅 없이도 여러 원천의 콘텐츠를 큐레이팅할 수 있으며, 외부 평가 및 보존에 의존한다.
• 평가 기관은 저자가 논문을 평가하기 위해 비용을 지불함으로써 다수의 평가가 가능하고 투명성이 향상된다.
• Living Reviews와 JHEP와 같은 기존 모델은 지속적이고 업데이트되는, 공동체가 검증한 리뷰 과정을 성공적으로 운영하고 있음을 보여준다.
• Naboj와 Philica와 같은 플랫폼은 공개적이고 공동체 기반의 동료평가를 실험하고 있으며, 리뷰 평가 기능도 포함하지만 많은 경우 베타 또는 비활성 상태에 머물러 있다.
• 본 연구는 개방형 액세스와 영향력 지수에 대한 논의가 널리 퍼져 있지만, 이는 분석의 초점이 아니며, 오히려 학술 출판의 구조적 혁신에 중심을 두고 있음을 결론짓는다.