[논문 리뷰] Societal and scientific impact of policy research: A large-scale empirical study of some explanatory factors using Altmetric and Overton

Pablo Dorta–González, Alejandro Rodrı́guez외 1명|arXiv (Cornell University)|2024. 03. 11.

Social Capital and Networks인용 수 4

한 줄 요약

이 대규모 연구는 약 125,000편의 정책 저널 논문을 대상으로 Altmetric 및 Overton 데이터를 활용하여 과학 연구가 정책 수립에 어떤 영향을 미치는지 분석한다. 연구 결과, 뉴스 기사 언급, 소셜 미디어 참여도, 유료 접근이 아닌 접근 방식이 정책 인용을 크게 증가시키는 것으로 나타났으며, 유료 접근 또는 완전한 개방형 접근 논문은 정책 문서에서 인용될 가능성이 낮은 것으로 나타나, 과학 커뮤니케이션의 역할이 연구와 정책 간 격차를 메우는 데 핵심적임을 시사한다.

ABSTRACT

This study investigates how scientific research influences policymaking by analyzing citations of research articles in policy documents (policy impact) for nearly 125,000 articles across 434 public policy journals. We reveal distinct citation patterns between policymakers and other stakeholders like researchers, journalists, and the public. News and blog mentions, social media engagement, and open access publications (excluding fully open access) significantly increase the likelihood of a research article being cited in policy documents. Conversely, articles locked behind paywalls and those published under the full open access model (based on Altmetric data) have a lower chance of being policy-cited. Publication year and policy type show no significant influence. Our findings emphasize the crucial role of science communication channels like news media and social media in bridging the gap between research and policy. Interestingly, academic citations hold a weaker influence on policy citations compared to news mentions, suggesting a potential disconnect between how researchers reference research and how policymakers utilize it. This highlights the need for improved communication strategies to ensure research informs policy decisions more effectively. This study provides valuable insights for researchers, policymakers, and science communicators. Researchers can tailor their dissemination efforts to reach policymakers through media channels. Policymakers can leverage these findings to identify research with higher policy relevance. Science communicators can play a critical role in translating research for policymakers and fostering dialogue between the scientific and policymaking communities.

연구 동기 및 목표

• 대규모 정책 저널 논문 코퍼스에서 정책 문서에 과학 연구가 인용되는 데 영향을 미치는 요인을 조사하기 위해.
• 학술 인용, 미디어 언급, 개방형 접근 상태가 정책 영향력에 미치는 상대적 영향을 특정하기 위해.
• 출간 연도, 정책 유형, 연구 분야가 정책 인용 가능성에 유의미하게 영향을 미치는지 검토하기 위해.
• 뉴스 미디어 및 소셜 미디어와 같은 과학 커뮤니케이션 채널이 정책 입안자가 연구를 수용하는 데 어떻게 기여하는지 평가하기 위해.
• 대상적 배포 및 커뮤니케이션 전략을 통해 연구를 정책으로 번역하는 데 도움이 되는 전략을 제안하기 위해.

제안 방법

• 434개의 공공 정책 저널에서 124,986편의 논문 데이터를 수집하여 정책 문서 내 인용 여부를 분석함.
• 미디어 언급, 소셜 미디어 참여도, 뉴스 보도 정도를 측정하기 위해 Altmetric 주목도 점수를 활용함.
• 각 논문의 개방형 접근 유형(예: 하이브리드형 vs. 완전 개방형)을 평가하기 위해 Overton 데이터를 통합함.
• 연구 논문이 정책 문서에 인용될 확률을 모델링하기 위해 다변량 로지스틱 회귀 분석을 적용함.
• 통신 및 접근 요인의 영향을 분리하기 위해 출간 연도, 저널 영향력 지수, 연구 분야를 제어함.
• 결과의 신뢰성을 확보하기 위해 하위 집단 분석 및 민감도 분석을 통한 탄력성 검증을 실시함.

실험 결과

연구 질문

• RQ1 연구 논문이 정책 문서에 인용될 가능성을 가장 강하게 예측하는 커뮤니케이션 및 접근 요인은 무엇인가?
• RQ2 학술 인용과 비교할 때 뉴스 언급과 소셜 미디어 참여가 정책 인용에 미치는 영향은 어떻게 다른가?
• RQ3 개방형 접근 모델의 유형(예: 하이브리드형 대비 완전 개방형)이 정책 인용 가능성에 영향을 미치는가?
• RQ4 출간 연도와 정책 유형은 연구의 노출도와 정책 영향력 간 관계를 어떻게 조절하는가?
• RQ5 뉴스 언급이 정책 인용을 예측하는 데 학술 인용보다 얼마나 더 큰 영향을 미치는가?

주요 결과

• 뉴스 언급과 소셜 미디어 참여가 정책 문서에 연구 논문이 인용될 가능성을 유의미하게 높이며, 특히 뉴스 언급이 학술 인용보다 더 강한 영향을 미침.
• 유료 접근이 아닌 접근 방식(예: 구독 기반 또는 하이브리드 개방형 접근)을 가진 논문은 완전한 개방형 접근 논문보다 정책 인용 가능성이 더 높음. 이는 접근 모델의 중요성을 시사함.
• 유료 접근 논문은 정책 인용 가능성이 낮아, 학술적 노출가 있음에도 불구하고 접근 제한이 정책 관련성에 영향을 미침.
• 학술 인용보다 뉴스 언급이 정책 인용에 더 강력한 예측력을 지님. 이는 학술 공동체와 정책 공동체 간의 괴리가 존재할 수 있음을 시사함.
• 출간 연도와 정책 유형은 정책 인용 가능성에 통계적으로 유의미한 영향을 미치지 않음. 이는 정책 수용에서 시간적·분야적 중립성을 시사함.
• 미디어 노출도와 개방형 접근(완전한 개방형 제외)의 조합이 정책 인용 가능성을 가장 높게 만듦. 이는 전략적 배포의 중요성을 강조함.