[논문 리뷰] Measuring impact in research evaluations: A thorough discussion of methods for, effects of, and problems with impact measurements

Lutz Bornmann|arXiv (Cornell University)|2014. 10. 06.

scientometrics and bibliometrics research참고 문헌 68인용 수 8

한 줄 요약

이 논문은 연구 영향을 측정하는 데 있어 방법, 영향, 과제를 철저히 분석하며, 과학적 영향에서 사회적 영향으로의 전환을 강조한다. 이는 계량적 영향 지표를 왜곡시키는 체계적 문제들—불평등, 랜덤성, 예측 불가능성—을 밝혀내며, 과학자들과 평가자들이 연구 평가에서 이러한 한계를 인지하도록 당부한다.

ABSTRACT

Impact of science is one of the most important topics in scientometrics. Recent developments show a fundamental change in impact measurements from impact on science to impact on society. Since impact measurement is currently in a state of far reaching changes, this paper describes recent developments and facing problems in this area. For that the results of key publications (dealing with impact measurement) are discussed. The paper discusses how impact is generally measured within science and beyond (section 2), which effects impact measurements have on the science system (section 3), and which problems are associated with impact measurement (section 4). The problems associated with impact measurement constitute the focus of this paper: Science is marked by inequality, random chance, anomalies, the right to make mistakes, unpredictability, and a high significance of extreme events, which might distort impact measurements. Scientometricians as the producer of impact scores and decision makers as their consumers should be aware of these problems and should consider them in the generation and interpretation of bibliometric results, respectively.

연구 동기 및 목표

• 연구 영향 측정의 변화하는 풍경을 분석하고, 특히 과학적 영향에서 사회적 영향으로의 전환을 다루는 것.
• 불평등, 랜덤성 등 계량적 영향 평가에 내재된 체계적 문제들을 특정하고 논의하는 것.
• 영향 측정이 연구 행동과 학술 의사결정에 끼치는 영향을 검토하는 것.
• 연구 평가에서 정량적 영향 지표에 과도하게 의존하는 위험을 부각하는 것.
• 과학측정학자들과 평가자들이 영향 지표의 한계와 왜곡을 인지할 것을 촉구하는 것.

제안 방법

• 과학측정학에서 영향 측정에 관한 핵심 문헌을 체系적으로 검토하고 통합하는 것.
• 인용 기반 지표와 대체 지표를 포함한 과학 내외의 영향 측정 방법에 대한 주제 분석.
• 영향 측정이 연구 관행과 기관 정책에 끼치는 영향 평가.
• 영향 지표에 영향을 미치는 과학 내 구조적 문제들—예측 불가능성과 극단적 사건—식별.
• 랜덤한 우연과 이질적 현상이 계량적 결과를 왜곡하는 방식을 설명하기 위한 개념적 프레임워크 활용.
• 과학측정학자들이 영향 데이터의 생산자로서, 평가자들이 소비자로서 기능하는 데서 그 역할을 비판적으로 평가하는 것.

실험 결과

연구 질문

• RQ1 연구 영향 측정 방법은 과학적 영향에서 사회적 영향으로의 전환을 고려할 때 어떻게 진화해 왔는가?
• RQ2 연구 평가에서 영향 지표를 사용할 경우 발생하는 부작용은 무엇인가?
• RQ3 과학 내에서 영향 측정의 정확성과 공정성을 왜곡시키는 체계적 문제들은 무엇인가?
• RQ4 랜덤성, 불평등, 극단적 사건과 같은 요소들이 계량적 지표에 어떻게 영향을 미치는가?
• RQ5 과학측정학자들과 평가자들이 영향 지표를 해석하고 적용할 때 지녀야 할 책임은 무엇인가?

주요 결과

• 연구 영향 측정은 과학 내 영향 측정에서 사회적 영향 측정으로의 근본적인 전환을 겪었다.
• 불평등, 랜덤한 우연, 예측 불가능성과 같은 체계적 문제들이 영향 지표에 중대한 왜곡을 초래한다.
• 극단적 사건과 이질적 현상은 계량적 지표에 비례하지 않게 영향을 미쳐 잘못된 평가를 초래할 수 있다.
• 실수를 할 수 있는 권리와 과학적 발견의 본질적 예측 불가능성은 영향 지표의 신뢰성에 도전한다.
• 영향 지표에 기반한 과학적 평가는 기존의 불평등을 강화하고 연구 동기를 왜곡할 위험이 있다.
• 영향 지표의 생산자와 소비자 모두가 계량적 평가에 내재된 한계와 편향을 비판적으로 인식해야 한다.