[논문 리뷰] How relevant is climate change research for climate change policy? An empirical analysis based on Overton data

Lutz Bornmann, Robin Haunschild외 3명|arXiv (Cornell University)|2022. 03. 10.

Climate Change Communication and Perception인용 수 5

한 줄 요약

이 연구는 Overton 데이터베이스를 활용하여 정책 문서에서 기후 변화 연구의 인용을 분석하여, 인용된 과학 논문이 더 많은 인용을 받고 있으며, 과학-정책 연계가 평가 보고서에서 정책 요약문과 입법으로 이어지는 사슬 구조를 따르는 것으로 드러났다. 연구 결과는 지구과학 및 공학 분야에서 과학적 우선순위와 정책 우선순위 간의 강한 일치를 보이며, 기후 정책에 대한 연구의 실질적 영향을 시사한다.

ABSTRACT

Climate change is an ongoing topic in nearly all areas of society since many years. A discussion of climate change without referring to scientific results is not imaginable. This is especially the case for policies since action on the macro scale is required to avoid costly consequences for society. In this study, we deal with the question of how research on climate change and policy are connected. In 2019, the new Overton database of policy documents was released including links to research papers that are cited by policy documents. The use of results and recommendations from research on climate change might be reflected in citations of scientific papers in policy documents. Although we suspect a lot of uncertainty related to the coverage of policy documents in Overton, there seems to be an impact of international climate policy cycles on policy document publication. We observe local peaks in climate policy documents around major decisions in international climate diplomacy. Our results point out that IGOs and think tanks -- with a focus on climate change -- have published more climate change policy documents than expected. We found that climate change papers that are cited in climate change policy documents received significantly more citations on average than climate change papers that are not cited in these documents. Both areas of society (science and policy) focus on similar climate change research fields: biology, earth sciences, engineering, and disease sciences. Based on these and other empirical results in this study, we propose a simple model of policy impact considering a chain of different document types: the chain starts with scientific assessment reports (systematic reviews) that lead via science communication documents (policy briefs, policy reports or plain language summaries) and government reports to legislative documents.

연구 동기 및 목표

• 기후 변화 연구가 인용 패턴을 통해 기후 정책에 어느 정도 영향을 미치는지 평가하기 위해.
• 정책 문서에 인용된 과학 논문이 비인용 논문보다 더 높은 인용 영향을 받는지 조사하기 위해.
• 기후 변화 논의에서 과학자와 정책 당사자가 모두 우선시하는 공통 분야를 특정하기 위해.
• 국제 기후 정책 주기와 관련하여 정책 문서 발표의 시계열 패턴을 검토하기 위해.
• 과학 평가 보고서에서 입법 문서에 이르는 문서 체인을 기반으로 과학-정책 영향 모델을 제안하기 위해.

제안 방법

• 정책 문서와 인용된 과학 논문을 연결하는 Overton 데이터베이스를 활용하였다.
• 국제 정부 간조직(IGOs), 정책 연구소 및 기타 정책 기관에서 기후 변화 연구의 인용 패턴을 분석하였다.
• 인용된 논문와 비인용 논문의 인용 수를 비교하여 영향 차이를 평가하였다.
• 과학 지식의 흐름을 문서 유형 간 흐름으로 매핑: 과학 평가 보고서 → 과학 커뮤니케이션 문서(예: 정책 요약문) → 정부 보고서 → 입법 문서.
• 주요 국제 기후 외교 행사 주변에서 정책 문서 발표의 시계열 피크를 식별하고 분석하였다.
• 인용된 논문 및 정책 문서의 주제 분류를 활용하여 분야별 과학 및 정책 우선순위의 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 기후 변화 연구 논문이 정책 문서에 어느 정도 인용되고 있으며, 이는 기관 간에 어떻게 다를까?
• RQ2 정책 문서에 인용된 과학 논문이 비인용 논문보다 유의미하게 더 많은 인용 수를 기록하는가?
• RQ3 기후 변화 연구와 정책 문서 양쪽에서 가장 두드러지게 나타나는 과학 분야는 무엇인가?
• RQ4 국제 기후 정책 이벤트와 관련하여 정책 문서 발표에 감지 가능한 시계열 패턴이 존재하는가?
• RQ5 정책 형성에 관여하는 문서 유형의 순서에서 과학-정책 영향의 체계적 모델을 도출할 수 있는가?

주요 결과

• 정책 문서에 인용된 기후 변화 연구 논문은 비인용 논문보다 평균적으로 유의미하게 더 많은 인용 수를 기록하였다.
• 기후 변화에 중점을 둔 IGOs와 정책 연구소는 예상보다 더 많은 정책 문서를 발표하여 과학 연구에 적극적으로 참여하고 있음을 보여주었다.
• 과학과 정책 양쪽에서 가장 많이 인용된 분야는 지구과학, 생물학, 공학, 질병 과학이었으며, 이는 강력한 일치를 보였다.
• 주요 국제 기후 외교 행사 주변에서 정책 문서 발표의 피크가 관찰되어, 정책이 글로벌 협상에 민감하게 반응하고 있음을 시사하였다.
• 이 연구는 과학 평가 보고서 → 정책 요약문 → 정부 보고서 → 입법 문서로 이어지는 명확한 문서 유형 사슬을 규명하여 연구가 정책에 영향을 미치는 경로를 제시하였다.
• Overton의 커버리지에 한계가 있음에도 불구하고, 데이터는 기후 변화 거버넌스에서 과학 연구와 정책 제작 간에 측정 가능하고 체계적인 연계가 존재함을 보여주었다.