[논문 리뷰] Policy documents as sources for measuring societal impact: How is climate change research perceived in policy documents?

Lutz Bornmann, Robin Haunschild외 1명|arXiv (Cornell University)|2015. 12. 22.

demographic modeling and climate adaptation참고 문헌 26인용 수 5

한 줄 요약

이 연구는 기후 변화 연구에서 사회적 영향을 측정하는 데 새로운 지표로 Altmetric에서 확보한 정책 문서 언급을 평가한다. 기후 변화 관련 191,276편의 논문 중 단 1.2%인 2,341편만 정책 문서에 인용되었으며, 상위 저널(Nature, Science)과 특정 분야(지구과학, 사회/경제 지리학)에서 정책 관련성이 높은 것으로 나타나, 제한적이지만 목표 지향적인 정책 참여가 이루어지고 있음을 시사한다.

ABSTRACT

In the current UK Research Excellence Framework (REF) and the Excellence in Research for Australia (ERA) societal impact measurements are inherent parts of the national evaluation systems. In this study, we deal with a relatively new form of societal impact measurements. Recently, Altmetric - a start-up providing publication level metrics - started to make data for publications available which have been mentioned in policy documents. We regard this data source as an interesting possibility to specifically measure the (societal) impact of research. Using a comprehensive dataset with publications on climate change as an example, we study the usefulness of the new data source for impact measurement. Only 1.2 percent (2341) out of 191276 publications on climate change in the dataset have at least one policy mention. We further reveal that papers published in Nature and Science as well as from the areas Earth and related environmental sciences and Social and economic geography are especially relevant in the policy context. Given the low coverage of the climate change literature in policy documents, this study can be only a first attempt to study this new source of altmetric data. Further empirical studies are necessary in upcoming years, because mentions in policy documents are of special interest in the use of altmetric data for measuring target-oriented the broader impact of research.

연구 동기 및 목표

• 연구 평가에서 사회적 영향을 측정하는 데 정책 문서 언급이 새로운 지표로 활용될 수 있는지 평가하기 위해.
• 기후 변화 연구가 공식 정책 문서에 얼마나 자주 인용되고 있는지 Altmetric 데이터를 활용해 조사하기 위해.
• 정책 맥락에서 인용되기 쉬운 논문 특성과 연구 분야를 특정하기 위해.
• 연구 평가 프레임워크 내에서 정책 언급을 목표 지향적 영향 측정 도구로 사용할 수 있는지의 가능성과 한계를 평가하기 위해.

제안 방법

• 학술 데이터베이스에서 확보한 기후 변화 관련 191,276편의 논문을 포함한 종합적 데이터셋을 활용하였다.
• 정책 언급은 Altmetric에서 확보하였으며, 이는 논문이 공식 정책 문서에 인용되는지를 추적한다.
• 저널(예: Nature, Science), 연구 분야(예: 지구과학, 사회 지리학), 논문 유형별로 논문을 분류하였다.
• 최소한 한 번 이상 정책 언급이 있는 논문의 비율을 계산하여 전체 커버리지 수준을 평가하였다.
• 저널 및 연구 분야 간 정책 인용 패턴을 식별하고 분석하였다.
• 술어 통계와 교차표 분석을 사용하여 논문 유형 및 분야 간 인용 빈도를 비교하였다.

실험 결과

연구 질문

• RQ1 Altmetric 데이터에 따르면 기후 변화 연구 논문 중 얼마나 많은 비율이 정책 문서에 언급되었는가?
• RQ2 어떤 저널과 연구 분야에서 정책 문서 언급 비율이 가장 높은가?
• RQ3 논문 게재 장소와 학문 분야에 따라 정책 문서에서의 논문 인용 방식은 어떻게 다를까?
• RQ4 정책 문서 언급이 연구 평가에서 신뢰할 수 있고 의미 있는 사회적 영향 지표로 기능할 수 있는가?

주요 결과

• 본 데이터셋 내 기후 변화 연구 논문 191,276편 중 단 1.2%인 2,341편만 최소한 한 번 이상 정책 문서에 언급되었다.
• Nature와 Science와 같은 고임팩트 저널에 게재된 논문일수록 정책 문서에 인용될 가능성이 뚜렷하게 높았다.
• 지구 및 관련 환경 과학, 사회 및 경제 지리학 분야에서 평균보다 높은 정책 인용 비율을 보였다.
• 낮은 전체 커버리지 수준은 정책 언급이 소수에 국한되지만 잠재적으로 유의미한 사회적 영향 지표가 될 수 있음을 시사한다.
• 연구 결과는 정책 문서 언급이 목표 지향적 영향 평가 지표로 활용될 수 있음을 시사하지만, 향후 실증적 검증이 필요하다.
• 본 연구는 향후 종단적 평가에서 이 데이터 소스의 일관성과 신뢰성에 대해 탐색할 필요성이 있음을 강조한다.