[논문 리뷰] Measuring Scientific Group Performance: Integrating h-Group and Homogeneity into the $α$-Index

Roberto da Silva, José Palazzo Moreira de Oliveira외 1명|arXiv (Cornell University)|2010. 02. 04.

Census and Population Estimation참고 문헌 8인용 수 4

한 줄 요약

이 논문은 과학적 연구 집단의 성과를 평가하기 위한 새로운 지표인 α-지수를 소개한다. 이 지표는 연구 집단 내 개별 연구자들의 h-지수의 균일성과 h-그룹 지수(연구 집단 수준의 성과를 확장한 h-지수)라는 두 가지 핵심 요소를 통합하여, 집단의 영향력과 내부 일관성의 균형을 반영하는 통합적인 정보 이론 기반 측정법을 제공한다. 이는 컴퓨터 과학 학술 대회 평가에서 수작업 분류와 강한 일치를 보이며, 연구 평가 및 자금 배분에서의 실용적 유용성을 입증한다.

ABSTRACT

Ranking groups of researchers is important in several contexts and can serve many purposes such as the fair distribution of grants based on the scientist's publication output, concession of research projects, classification of journal editorial boards and many other applications in a social context. In this paper, we propose a method for measuring the performance of groups of researchers. The proposed method is called alpha-index and it is based on two parameters: (i) the homogeneity of the h-indexes of the researchers in the group; and (ii) the h-group, which is an extension of the h-index for groups. Our method integrates the concepts of homogeneity and absolute value of the h-index into a single measure which is appropriate for the evaluation of groups. We report on experiments that assess computer science conferences based on the h-indexes of their program committee members. Our results are similar to a manual classification scheme adopted by a research agency.

연구 동기 및 목표

• 개별 지표를 넘어서 연구 집단의 공정하고 종합적인 평가가 필요하다는 문제를 해결하기 위해.
• 기존의 집단 수준 지표들이 연구자 간 집단의 영향력과 내부 일관성을 동시에 고려하지 못하는 한계를 극복하기 위해.
• 절대적인 성과와 연구 집단 내 성과의 균일성을 모두 반영하는 단일 통합 지표를 개발하기 위해.
• 기관 및 자금 지원 기관이 연구 집단을 정부 보조금 배분, 프로젝트 선정, 편집위원회 임명 등에 활용할 수 있는 실용적 도구를 제공하기 위해.

제안 방법

• α-지수는 h-그룹 지수와 연구 집단 내 개별 h-지수의 균일성을 통합하는 정보 이론적 프레임워크에서 유도된다.
• 균일성은 개별 h-지수의 분산 또는 표준편차로 측정되며, 분산이 낮을수록 내부 일관성이 높다는 의미이다.
• h-그룹 지수는 최소 h명의 연구자가 각각 h편 이상의 논문을 h회 이상 인용한 최대 h값으로 계산된다.
• α-지수는 h-그룹 지수의 절대값과 균일성 간의 균형을 맞추는 함수로 구성되며, 높은 집단적 성과와 일관된 개인 성과를 동시에 보이는 집단을 선호한다.
• 이 방법은 컴퓨터 과학 학술 대회의 프로그램 위원회 구성원을 대상으로 적용되어 연구 집단의 성과를 평가하는 데 사용되었다.
• 결과적으로 도출된 α-지수 값은 연구 기관에서 수작업으로 수행한 분류 체계와 비교되었으며, 전문가의 판단과의 일치를 입증하였다.

실험 결과

연구 질문

• RQ1 연구 집단의 성과를 평가할 때 집단의 영향력과 개별 연구자 간 성과의 균일성을 동시에 고려할 수 있는 방법은 무엇인가?
• RQ2 h-지수의 균일성을 통합함으로써 h-그룹 지수를 단독으로 사용하는 것보다 평가의 공정성과 정확성이 얼마나 향상되는가?
• RQ3 제안된 α-지수는 컴퓨터 과학 학술 대회의 프로그램 위원회와 같은 실제 환경에서 연구 집단을 신뢰성 있게 순위 매길 수 있는가?
• RQ4 전문가 기반 분류와 비교할 때 α-지수의 일관성과 타당성은 어떠한가?
• RQ5 통합 성과 지표에서 집단 영향력(h-그룹)과 성과 균일성 간의 최적의 균형은 무엇인가?

주요 결과

• α-지수는 h-그룹 지수와 연구자 개개인의 h-지수 균일성을 하나의 일관된 지표로 통합하여 연구 집단 평가에 성공적으로 적용하였다.
• 높은 h-그룹 지수와 낮은 개별 h-지수 분산을 보이는 집단는 높은 α-지수 점수를 기록하여 균형 잡힌 강력한 집단 성과를 반영하였다.
• 컴퓨터 과학 학술 대회에 대한 α-지수 결과는 연구 기관에서 수작업으로 수행한 분류 체계와 강한 일치를 보이며 실용적 유의성을 입증하였다.
• 개별 h-지수가 유사한 경우에도 이 방법은 높은 성과 집단과 낮은 성과 집단을 효과적으로 구분하는 데에 뛰어난 강건성을 보였다.
• 균일성 요소를 포함시킴으로써 지표의 분류 능력이 크게 향상되어, 성과가 극명하게 빛나지 않지만 개인 간 성과 격차가 큰 고성과 집단이 과도하게 높이 평가되는 것을 방지하였다.
• 기존의 집단 성과의 총합에만 초점을 맞추는 전통적 지표보다 α-지수는 연구 집단 평가에 더 세밀하고 공정한 평가를 제공한다.