[논문 리뷰] Overton -- A bibliometric database of policy document citations

Martin Szomszor, Euan Adie|arXiv (Cornell University)|2022. 01. 19.

scientometrics and bibliometrics research인용 수 16

한 줄 요약

이 논문은 정책 문서와 학술 문헌 간의 인용을 인덱싱하는 문헌정보학적 데이터베이스인 Overton을 평가한다. Overton이 건강, 경제학, 환경 정책와 같은 분야에서 분야별 정규화된 인용 지표를 지원하며, 자가 보고한 자금 지원 결과와 높은 상관관계를 보이고, 동료 평가 영향 평가와는 중간 수준의 상관관계를 보임으로써, 기존의 인용 외적 영향 평가를 자동화할 수 있음을 보여준다.

ABSTRACT

This paper presents an analysis of the Overton policy document database, describing the makeup of materials indexed and the nature in which they cite academic literature. We report on various aspects of the data, including growth, geographic spread, language representation, the range of policy source types included, and the availability of citation links in documents. Longitudinal analysis over established journal category schemes is used to reveal the scale and disciplinary focus of citations and determine the feasibility of developing field-normalized citation indicators. We examine how well self-reported funding outcomes collected by UK funders corresponds to data indexed in the Overton database, and if peer-review assessment of impact as measured by the UK Research Excellence Framework (REF) 2014 correlates with derived citation metrics. Our findings show that for some research topics, such as health, economics, social care and the environment, Overton contains a core set of policy documents with sufficient citation linkage to academic literature to support various citation analysis that may be informative in research evaluation, impact assessment, and policy review. The data indexed in Overton agrees with that collected via self-reporting of funding outcomes, and correlates with peer-review assessment of impact in some disciplines.

연구 동기 및 목표

• 정책 문서의 인용을 연구 평가를 위한 문헌정보학적 데이터 소스로 사용할 수 있는지의 가능성을 평가하기 위해.
• Overton 데이터베이스의 커버리지, 지리적 및 학문 분야 분포, 그리고 인용 연결 품질을 평가하기 위해.
• Overton의 인용 데이터가 영국 기금 기관에서 자가 보고한 자금 지원 결과와 얼마나 잘 상관되는지 검토하기 위해.
• 영국의 REF2014에서 수행한 동료 평가 영향 평가와 정책 인용 지표 간의 관계를 조사하기 위해.
• 정책 영향을 받는 연구 분야에서 분야별 정규화된 인용 지표 개발 잠재력을 규명하기 위해.

제안 방법

• 연구는 2000년에서 2021년까지 인덱싱된 정부, 정책연구소, 다자기조직, 자선 단체를 포함한 30,000개 이상의 정책 자료를 포함한 Overton 데이터베이스를 분석한다.
• 학술 저널 카테고리 체계(예: ASJC)를 기반으로 종단적 분석을 수행하여 분야별 인용 수와 분포를 평가한다.
• 연구진은 UK 기금 기관에서 자가 보고한 정책 영향 데이터와 Overton에서 추출한 인용 데이터를 비교하여 일치성을 평가한다.
• 영국 연구 우수성 프레임워크(REF) 2014의 동료 평가 영향 점수를 Overton에서 유도한 인용 지표와 상관관계 분석한다.
• 분야 수준의 인용 수(각 분야별 최소 250篇 이상)를 사용하여 인용 지연, 분포 패턴, 정규화 가능성 여부를 평가한다.
• 기타 앨트메트릭 패턴, 특히 Mendeley 및 소셜 미디어 데이터에서 관찰된 로그정규분포 경향과 인용 분포를 비교한다.

실험 결과

연구 질문

• RQ1 Overton의 데이터 커버리지가 분야별 정규화된 인용 지표 개발에 얼마나 기여하는가?
• RQ2 Overton의 인용 지표가 영국 기금 기관에서 자가 보고한 정책 영향 결과와 얼마나 잘 상관되는가?
• RQ3 영국의 REF2014에서 정책 인용 영향과 동료 평가 영향 간에 측정 가능한 상관관계가 존재하는가?
• RQ4 Overton에 포함된 정책 문서의 지리적 및 언어적 다양성은 학술 성과와 비교해 볼 때 어떻게 되는가?
• RQ5 정책 기관 간 인용 지연 패턴은 어떻게 달라지며, 이는 정책에서 증거 사용에 대해 무엇을 드러내는가?

주요 결과

• Overton는 2000년 이래로 매년 20만 건 이상의 정책 문서를 인덱싱하고 있으며, 총 800만 건 이상의 참고문헌을 포함하고 있으며, 매년 학술 저널에 20만~40만 건의 인용을 포함한다.
• 인덱싱된 PDF의 88%는 DOI를 포함하지 않지만, 약 20만 건의 핵심 문서는 문헌정보학적 분석에 적합한 충분한 인용 연결 정보를 포함하고 있다.
• 2000~2018년 기간 동안 어느 정책 인용도 받은 88%의 논문은 ASJC 주제 카테고리 기반으로 분야별 정규화가 가능함을 시사하며, 정규화 지표 개발의 강력한 가능성 여부를 보여준다.
• Overton의 인용 데이터와 영국 기금 기관에서 자가 보고한 정책 영향 결과 사이에 높은 상관관계가 발견되어, 자동 보고 가능성의 잠재력을 시사한다.
• 특정 평가 단위에서 동료 평가 영향 점수와 정책 인용 순위 간에 중간 수준의 상관관계가 존재하여, 영향 평가 기준 설정에의 유용성을 보여준다.
• Overton의 인용 분포는 Mendeley 및 소셜 미디어 데이터에서 관찰된 것과 유사한 로그정규분포 패턴을 따르며, 통계 모델링 및 정규화에 유리한 조건을 제공한다.