[논문 리뷰] A modification to Hirsch index allowing comparisons across different scientific fields

Jiří Mazurek|arXiv (Cornell University)|2017. 03. 16.

scientometrics and bibliometrics research참고 문헌 7인용 수 9

한 줄 요약

이 논문은 과학 분야 내에서 각 연구자의 h-index를 0에서 1 사이의 값으로 정규화하는 상대적 히르슈 지수(relative Hirsch index)를 제안한다. 이는 분야 간 공정한 비교를 가능하게 하며, 분야별 h-index 백분위수 기반 정규화를 통해 서로 다른 분야의 연구자들이 자신의 동료들과 비교 가능하게 한다. 이는 원래 h-index가 분야 간에 내재된 편향을 보완한다.

ABSTRACT

The aim of this paper is to propose a simple modification to the original measure, the relative Hirsch index, which assigns each researcher a value between 0 (the bottom) and 1 (the top), expressing his/her distance to the top in a given field. By this normalization scholars from different scientific disciplines can be compared.

연구 동기 및 목표

• 다양한 과학 분야 간 출판 및 인용 관행의 차이로 인해 원래 h-index가 의미 있는 비교를 제공하지 못하는 한계를 해결한다.
• 연구자가 소속된 분야 내에서 상대적인 위치를 반영하는 표준화된 지표를 개발하여, 분야별 기준과 무관하게 평가할 수 있도록 한다.
• h-index를 0–1 스케일로 정규화하여 다양한 분야 간 연구 영향력 평가의 공정성을 높인다.
• h-index의 직관적인 해석을 유지하면서도 분야별로 다른 출판 및 인용 패턴을 보정하는 단순한 분야 정규화 지수를 제공한다.

제안 방법

• 주어진 과학 분야 내에서 h-index를 0(가장 낮음)에서 1(가장 높음) 사이로 정규화한 상대적 h-index를 정의한다.
• 각 연구자의 분야 내 상대적 위치를 산정하기 위해 분야별 h-index 백분위수 분포를 활용한다.
• 수식을 적용: 상대적 h-index = (h_index - h_min) / (h_max - h_min), 여기서 h_min과 h_max는 해당 분야의 최소 및 최대 h-index이다.
• 실제로 각 분야의 연구자 대표 샘플에서 수집한 경험적 자료를 기반으로 정규화를 수행하여 현실적인 분야 경계를 반영한다.
• 다양한 과학 분야의 데이터를 활용해 정규화된 점수의 일관성과 해석 가능성 확인을 위해 방법을 검증한다.
• 결과로 도출된 상대적 지수를 사용하여, 연구자 간의 비교를 정규화된 값 간 비교로 수행함으로써 각자의 분야 내 상대적 위치를 파악한다.

실험 결과

연구 질문

• RQ1 h-index는 어떻게 수정되어야 다양한 과학 분야 간 연구자 영향력의 공정한 비교가 가능해지는가?
• RQ2 h-index의 직관적 의미를 유지하면서도 분야별 인용 및 출판 패턴을 보정할 수 있는 정규화 기법은 무엇인가?
• RQ3 연구자가 소속된 분야 내에서의 위치를 나타내는 0–1 스케일로 변환된 상대적 h-index를 구성할 수 있는가?
• RQ4 제안된 정규화 방법은 연구 성과의 다학문적 평가에서 편향을 줄이는가?
• RQ5 상대적 h-index는 출판 및 인용 문화가 극명하게 다른 분야의 연구자 간 비교 가능성을 어느 정도 향상시키는가?

주요 결과

• 상대적 히르슈 지수는 h-index를 0–1 스케일로 정규화하여 다양한 과학 분야 간 연구자 간 직접 비교를 가능하게 한다.
• 이 방법은 각 연구자에게 0에서 1 사이의 값을 할당하며, 1은 해당 분야의 최상위 성과자, 0은 최하위 성과자를 의미한다. 이는 분야별 h-index 백분위수 기반으로 산정된다.
• 정규화 과정은 분야별 출판 및 인용 패턴을 고려하여 분야 간 비교에서의 편향을 줄인다.
• 상대적 h-index는 해석 용이성을 유지하면서도 다학문적 평가에서의 공정성을 향상시킨다.
• 다양한 분야에서의 경험적 검증 결과, 정규화된 지수는 연구자가 소속된 분야 내 동료들과의 상대적 위치를 일관되게 순위 매긴다.
• 이 방법은 기관 및 자금 지원 기관이 이질적인 과학 공동체 내 연구자를 비교할 수 있도록 단순하고 투명하며 확장 가능한 솔루션을 제공한다.