[논문 리뷰] Metrics and Mechanisms: Measuring the Unmeasurable in the Science of Science

Lingfei Wu, Aniket Kittur외 5명|arXiv (Cornell University)|2021. 11. 14.

scientometrics and bibliometrics research인용 수 5

한 줄 요약

이 논문은 과학적 메트릭스와 그 배경 메커니즘을 연결하는 프레임워크를 제안한다. 과학을 뜨거운/차가운, 빠른/느린, 부드러운/단단한 네 가지 이원축에 따라 분류함으로써 과학적 생산성, 주의 집중의 이동, 재현 가능성 등 숨겨진 구조를 드러낸다. 이는 과학 활동을 이끄는 메커니즘을 이해하는 것이 표면적 데이터 수집을 넘어서 효과적이고 의미 있는 메트릭스 개발을 위해 필수적임을 주장한다.

ABSTRACT

What science does, what science could do, and how to make science work? If we want to know the answers to these questions, we need to be able to uncover the mechanisms of science, going beyond metrics that are easily collectible and quantifiable. In this perspective piece, we link metrics to mechanisms by demonstrating how emerging metrics of science not only offer complementaries to existing ones, but also shed light on the hidden structure and mechanisms of science. Based on fundamental properties of science, we classify existing theories and findings into: hot and cold science referring to attention shift between scientific fields, fast and slow science reflecting productivity of scientists and teams, soft and hard science revealing reproducibility of scientific research. We suggest that interest about mechanisms of science since Derek J. de Solla Price, Robert K. Merton, Eugene Garfield, and many others complement the zeitgeist in pursuing new, complex metrics without understanding the underlying processes. We propose that understanding and modeling the mechanisms of science condition effective development and application of metrics.

연구 동기 및 목표

• 과학 활동을 이끄는 배경 메커니즘을 이해하지 못한 채 과학 분야에서 측정 가능한 메트릭스에 점점 더 의존하고 있는 현상에 대응하기 위해.
• 뜨거운 과학 대비 차가운 과학(분야 간 주의 집중의 이동), 빠른 과학 대비 느린 과학(과학자/팀의 생산성), 부드러운 과학 대비 단단한 과학(연구의 재현 가능성)이라는 네 가지 이원적 차원을 사용하여 과학의 근본적 메커니즘을 식별하고 분류하기 위해.
• 메트릭스만으로는 과학을 개선하는 데 부족하며, 오히려 의미 있는 메트릭스 개발을 위해서는 메커니즘을 이해하는 것이 필수적임을 주장하기 위해.
• 과학 연구와 혁신을 규정짓는 깊은 과정과 메트릭스를 연결하는 개념적 프레임워크를 제공하기 위해.
• 과학의 과학 분야가 단순한 데이터 수집을 넘어서 과학 자체의 메커니즘을 모델링하고 이해하는 데로 진화해야 한다는 점을 정립하기 위해.

제안 방법

• 과학적 현상들을 뜨거운/차가운(분야 간 주의 집중의 이동), 빠른/느린(과학자/팀의 생산성), 부드러운/단단한(연구의 재현 가능성)이라는 네 가지 이원축에 따라 분류하기.
• 프라이스, 메르톤, 가프리엘의 기존 이론적 기반을 활용하여 제안된 분류를 오랜 기간 지속된 사회학적 및 문헌정보학적 전통에 기반시키기.
• 주의 집중 역학, 인용 확산, 재현 가능성 지표와 같은 새로운 메트릭스를 통합하여 과학적 메커니즘을 반영하는 통합 프레임워크를 구성하기.
• 메트릭스가 고립적으로 개발되어서는 안 되며, 과학적 행동과 체계적 과정의 모델에 기반해야 한다고 제안하기.
• 과학의 과학을 이해하기 위해 메트릭스 혁신과 메커니즘 모델링이 동시에 필요하며, 과학이 어떻게 작동하는지를 의미 있는 통찰을 얻기 위해 필요하다고 프레임워크를 설정하기.

실험 결과

연구 질문

• RQ1 쉽게 측정 가능한 메트릭스를 넘어서 과학적 진전을 이끄는 숨겨진 메커니즘을 밝혀내는 방법은 무엇인가?
• RQ2 과학 활동을 규정짓는 근본적 이원성은 무엇이며, 그것이 더 깊은 체계적 역학을 어떻게 반영하는가?
• RQ3 주의 집중의 이동(뜨거운 과학 대비 차가운 과학)이 과학 연구의 방향성과 영향력에 어떤 영향을 미치는가?
• RQ4 생산성 패턴(빠른 과학 대비 느린 과학)은 개인 및 팀의 과학적 산출의 차이를 어떻게 반영하는가?
• RQ5 부드러운 과학과 단단한 과학의 차이가 재현 가능성과 과학적 탄탄함과 어느 정도 관련이 있는가?

주요 결과

• 과학을 뜨거운/차가운, 빠른/느린, 부드러운/단단한 차원으로 분류함으로써 과학 활동의 근본적인 분석 가능한 메커니즘이 드러난다.
• 주의 집중의 이동을 측정하는 메트릭스(예: 인용 급증, 주제의 인기)는 뜨거운/차가운 과학 축과 연결되어 분야 간 전환의 역동성을 반영한다.
• 출판 빈도와 팀의 역학을 측정한 생산성 패턴은 빠른/느린 과학의 구분을 뒷받침하며, 연구 산출 속도의 차이를 드러낸다.
• 재현 가능성 추세는 부드러운/단단한 과학 축과 일치하며, 실험 표준화 수준이 높은 분야에서는 더 강한 재현 결과를 보인다.
• 메트릭스와 메커니즘 모델을 통합하면 메트릭스만으로는 도달할 수 없는 과학 시스템에 대한 더 깊은 통찰을 얻을 수 있다.
• 메트릭스가 단순히 데이터가 풍부하기만 하지 않고 과학적으로 의미 있고 실행 가능한지를 설계하기 위해서는 메커니즘을 이해하는 것이 필수적이다.