[논문 리뷰] Superiority of the $h$-index over the Impact Factor for Physics

Casey W. Miller|ArXiv.org|2006. 08. 17.

Big Data Technologies and ApplicationsDecision Sciences인용 수 17

한 줄 요약

이 논문은 물리학 저널 평가에서 영향력 지수(Impact Factor, IF)보다 h-지수를 더 우수한 지표로 주장한다. h-지수는 다학제적이고 리뷰 중심의 저널에서 발생하는 편향을 줄이고, 동료 평가 연구의 질을 더 잘 반영하기 때문이다. 자연과 사이언스와 같은 다학제적 저널에 게재된 물리학 논문의 인용 데이터를 바탕으로 한 연구에서, 물리학자들이 명성으로 여겨온 Physical Review Letters가 h-지수 기준으로 자연과 사이언스보다 높은 순위를 차지함을 확인하였으며, 이는 물리학자들의 명성 인식과 일치한다.

ABSTRACT

Focusing specifically on physics periodicals, I show that the journal Impact Factor is not correlated with Hirsch's $h$-index. This implies that the Impact Factor is not a good measure of research quality or influence because the $h$-index is a reflection of peer review, and thus a strong indicator of research quality. The impact gap between multidisciplinary journals and physics-only journals is significantly reduced when $h$ is used instead of the Impact Factor. Additionally, the impact of journals specializing in review articles is inherently deflated using $h$ because of the limited number of annual publications in such periodicals. Finally, a reordering of the top ranking journals occurs with $h$ when only the physics articles of multidisciplinary journals are considered, falling more in line with the average physicist's interpretation of a journal's prestige.

연구 동기 및 목표

• 물리학 분야에서 연구 품질 측정 척도로 사용되는 영향력 지수(Impact Factor, IF)의 타당성을 도전한다.
• h-지수가 물리학 분야에서 저널 영향력에 대해 더 정확하고 동료 평가와 부합하는 지표가 되는지 평가한다.
• h-지수와 새로운 변형인 ℏ-지수를 사용하여 물리학 전용 저널과 다학제적 저널의 影響를 정량적으로 비교한다.
• Nature와 Science와 같은 다학제적 저널에서 물리학 전용 콘텐츠를 걸러내어 저널 순위의 괴리 현상을 해결한다.
• h-지수가 역사적으로 가장 명성 있는 물리학 저널로 간주되는 Physical Review Letters의 진정한 과학적 영향력을 더 잘 반영함을 입증한다.

제안 방법

• h-지수는 논문을 인용 수 기준으로 정렬하고, 상위 h편의 논문 각각이 최소 h회 이상 인용된 경우에 해당하는 최고의 순위 h로 계산한다.
• ℏ-지수는 h-지수의 기하학적 변형으로 정의되며, ℏ = √(α/2)로 표현되며, α는 총 인용 수이다. 이는 매우 높은 인용 수를 가진 논문과 중간 수준의 인용 수를 가진 논문의 영향을 더 잘 포착한다.
• 다학제적 저널의 물리학 논문을 식별하기 위해 텍스트 기반 필터링 방법을 사용하였으며, 문헌 목록에서 물리학 전용 참조 문자열(예: 'phys rev', 'j phys b')을 스캔하여 비물리학 참조는 제외하였다.
• 필터는 논문당 물리학 참조 비율을 조정하여 튜닝되었으며, 각 임계값을 충족하는 논문 집합에 대해 h 및 ℏ 지수를 계산하였다.
• 20–50% 범위의 물리학 참조 비율에서 데이터 포인트에 선형 회귀를 적용하여, 자연과 사이언스와 같은 저널의 순수 물리학 콘텐츠에 대한 h 및 ℏ 지수를 외삽하였다.
• Physical Review Letters, Nature, Science 등의 저널에 대한 최종 h 및 ℏ 지수를 비교하여 상대적 명성과 전문가 의견과의 일치성을 평가하였다.

실험 결과

연구 질문

• RQ1 공개 데이터가 부족하고 조작에 취약한 점을 감안할 때, 영향력 지수는 물리학 분야의 연구 품질을 신뢰할 만한 지표로 간주할 수 있는가?
• RQ2 특히 동료 평가의 질과 과학적 영향력을 반영하는 데 있어, h-지수는 영향력 지수보다 어떻게 비교되는가?
• RQ3 리뷰 논문과 비물리학 콘텐츠로 인해 Nature와 Science와 같은 다학제적 저널이 영향력 지수 순위에서 과도하게 높이 평가되는 정도는 어느 정도인가?
• RQ4 h-지수와 ℏ-지수는 다학제적 저널에서 물리학 전용 콘텐츠를 분리함으로써 물리학 저널의 더 정확하고 일관된 순위를 제공할 수 있는가?
• RQ5 h-지수는 Physical Review Letters의 역사적 지위를 고려할 때 전문가가 인식하는 저널 명성과 더 잘 부합하는가?

주요 결과

• 영향력 지수는 물리학 분야에서 h-지수와 상관관계가 없으며, 이는 IF가 진정한 연구 품질이나 영향력을 반영하지 못함을 시사한다.
• Physical Review Letters의 h-지수(h = 263)는 다학제적 저널인 Nature의 물리학 부분에 대해 외삽한 h-지수(h = 285)보다 낮지 않으며, 물리학 분야에서의 뛰어난 지위를 확인한다.
• Physical Review Letters의 ℏ-지수(ℏ = 869)는 Nature의 물리학 부분에 대해 외삽한 ℏ-지수(ℏ = 499)를 크게 초월하여, 더 높은 과학적 영향력을 추가로 입증한다.
• h-지수는 Reviews of Modern Physics와 같은 리뷰 저널이 낮은 출판 빈도와 높은 인용률로 인해 영향력 지수가 과도하게 높아지는 현상에 대해 완화한다.
• 분석 결과, 비물리학 콘텐츠로 인해 Nature와 Science와 같은 다학제적 저널의 영향력 지수가 비정상적으로 높게 나타나며, 이는 물리학 분야에서의 영향력 평가에 왜곡을 초래함을 보여준다.
• Nature의 물리학 부분에 대해 100% 물리학 콘텐츠로 외삽한 h-지수는 h_phys = 285, ℏ-지수는 ℏ_phys = 499로 도출되었으며, 이는 물리학 전용 저널이 영향력 지수 순위가 반영하는 것보다 더 높은 영향력을 가짐을 시사한다.