[논문 리뷰] Measuring science: irresistible temptations, easy shortcuts and dangerous consequences

Giovanni Abramo, Ciriaco Andrea D’Angelo|arXiv (Cornell University)|2018. 12. 21.

Evolution and Genetic DynamicsBiochemistry, Genetics and Molecular Biology인용 수 21

한 줄 요약

이 논문은 국제 연구 평가 기준에서 총 출판물 수와 인용 수를 부적절하게 사용하는 문제를 비판하며, 과학적 번식도의 본질적 차이로 인해 다양한 분야 간 비교가 왜곡됨을 주장한다. 이는 분야 간 이질성을 고려하지 않을 경우 잘못된 순위 매기기가 발생함을 보여주며, 해로운 정책 및 자금 배분 결정을 피하기 위해 보다 세련된, 분야별로 특화된 평가 방법을 촉구한다.

ABSTRACT

In benchmarking international research, although publication and citation analyses should not be used to compare different disciplines, scientometrists frequently fail to resist the temptation to present rankings based on total publications and citations. Such measures are affected by significant distortions, due to the uneven fertility across scientific disciplines and the dishomogeneity of scientific specialisation among nations and universities. In this paper, we provide an indication of the extent of the distortions when comparative bibliometric analyses fail to recognise the range of levels of scientific fertility, not only within a given major disciplinary area but also within the different scientific disciplines encompassed by the same area.

연구 동기 및 목표

• 다양한 과학 분야 간 연구 성과의 대리 지표로 총 출판물 수와 인용 수를 사용하는 데서 비롯하는 위험을 드러내는 것.
• 문헌정보학자들이 그들이 잘 알고 있는 한계가 있는 바에도 불구하고 쉽게 접근 가능한 단순 지표를 사용하는 유혹을 부각하는 것.
• 연구 기관 및 분야 간 과학적 번식도의 불균형이 비교적 문헌정보학적 분석을 왜곡하는 방식을 입증하는 것.
• 연구 성과 및 인용 관행의 본질적 차이를 반영하는 분야 인식 평가 프레임워크를 주장하는 것.
• 연구 자금 배분 및 기관 순위 매기기 시스템에서 잘못된 지표에 의존할 경우 발생할 수 있는 정책적 결과를 경고하는 것.

제안 방법

• 과학 분야 및 주요 연구 분야 간 출판 및 인용 패턴의 구조적 격차 분석.
• 국제 연구 성과의 실증 데이터를 활용하여 총 수치가 의학 및 자연과학과 같은 고번식도 분야를 우선시하고 인문학과 같은 저번식도 분야를 불리하게 하는 방식을 설명하는 것.
• 총 출판물 수 및 인용 수 기반의 기관 및 국가 순위를 분야 보정 지표와 비교하는 것.
• 번식도 수준을 조정하지 않은 채 다학제 간 비교 평가에서 발생하는 방법론적 결함을 부각하는 것.
• 실제 연구 평가 관행에서의 사례를 인용하여 지표 오용의 결과를 설명하는 것.
• 공정한 비교를 보장하기 위해 문헌정보학 지표에서 분야별 보정으로의 전환을 제안하는 것.

실험 결과

연구 질문

• RQ1 문헌정보학적 관행이 알려진 분야 간 편향에도 불구하고 총 출판물 수와 인용 수를 계속 사용하는 이유는 무엇인가?
• RQ2 집계 지표를 사용할 경우 과학적 번식도의 차이가 국제 연구 순위에 얼마나 큰 영향을 미치는가?
• RQ3 다양한 분야 간 불균형한 인용 관행이 다학제 간 성과 비교의 타당성에 어떤 영향을 미치는가?
• RQ4 단순한 문헌정보학 지표에 의존할 경우 정책 및 기관적 결과는 어떠한가?
• RQ5 집계 지표가 초래하는 왜곡을 완화시킬 수 있는 대안적 평가 프레임워크는 무엇인가?

주요 결과

• 과학적 번식도의 상당한 차이로 인해 총 출판물 수와 인용 수는 다학제 간 비교에 매우 오해의 소지가 있다.
• 의학 및 자연과학 분야는 인문학과 같은 분야보다 훨씬 높은 출판 및 인용 빈도를 보이며, 이는 순위 매기기에 체계적인 편향을 초래한다.
• 집계 지표를 사용할 경우 실제 연구 품질이나 영향과는 무관하게 고번식도 분야에 강한 기관과 국가가 유리해진다.
• 분야 간 차이를 보정하지 못할 경우 기관 순위가 왜곡되고 연구 자금 배분이 잘못될 수 있다.
• 관리적 편의성과 방법론적 엄밀함의 부족으로 인해 그들이 잘 알고 있는 결함이 있음에도 불구하고 쉬운 표준 지표 사용에 대한 유혹이 지속된다.
• 공정하고 정확한 연구 평가를 확보하기 위해 더 세련되고 분야 인식이 반영된 문헌정보학적 방법이 필수적이다.