[논문 리뷰] V-index: a novel metric to measure virtuosity of academics

Emilio Ferrara, Alfonso E. Romero|arXiv (Cornell University)|2012. 02. 14.

scientometrics and bibliometrics research참고 문헌 21인용 수 3

한 줄 요약

이 논문은 자기인용을 고려한 제한점을 해결함으로써 학술적 술기성을 측정하는 데 새로운 지표인 V-인덱스를 소개한다. 자기인용을 고려한 프레임워크를 통해 연구자와 저널의 영향력을 정량화하며, 과학 분야의 최고 과학자, 컴퓨터공학 적용 분야의 저널(스카이마고), 그리고 130개 국가의 2011년 연구 성과에 대한 유효성을 입증한다.

ABSTRACT

In this paper, we propose the V-index (or, Virtuosity index) as a novel metric to assess the scientific virtuosity of academics. This index can be applied to researchers and journals as well. In particular, we show that the V-index fills the gap of h-index and similar metrics in considering the self-citations of authors or journals. The paper provides with three real-world examples: in the first, we evaluate the research impact of the most productive scientists in Science (according to DBLP); in the second, we assess the virtuosity of the journals ranked in the Computer Science Applications section of SCImago; in the last, we apply V-index for the assessment of the 2011 research activity of 130 countries all over the world.

연구 동기 및 목표

• 자기인용을 다루는 데에 한계가 있는 기존의 정보학적 지표들, 예를 들어 h-인덱스의 단점을 해결하기 위해.
• 자기인용을 의미 있는 방식으로 반영함으로써 연구자와 저널의 진정된 영향력을 측정할 수 있는 지표를 개발하기 위해.
• 개인, 저널, 국가 연구 체계 전반에서 학술적 술기성을 평가하기 위한 표준화되고 확장 가능한 지표를 제공하기 위해.
• 상위 과학자, 랭킹된 저널, 그리고 세계 각국의 연구 성과 데이터를 바탕으로 V-인덱스의 타당성을 검증하기 위해.

제안 방법

• V-인덱스는 총 인용수(자기인용 포함)를 기반으로 하되, 편향을 줄이기 위해 정규화 요소를 적용한 함수로 정의된다.
• 자기인용과 외부 인용을 구분하기 위해 반복적 또는 이터레이티브 알고리즘을 활용하여, 자기인용이 지수를 인위적으로 높이지 않도록 보장한다.
• 출판물의 인용 횟수를 바탕으로 지수를 계산하며, 다양한 학문 분야와 척도 간 일관성을 유지하는 데 중점을 둔다.
• 이 방법은 세 가지 다른 평가 맥락에 V-인덱스를 적용한다: 과학 분야의 상위 과학자(디블립), 컴퓨터공학 적용 분야의 저널(스카이마고), 그리고 국가 수준의 연구 성과(130개 국가).
• 기관, 국가, 저널의 크기와 인용 관행의 차이를 고려하여 공정한 비교를 보장하기 위해 정규화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 자기인용을 정보학적 지표에 의미 있게 통합할 수 있는 방법은 무엇이며, 이를 통해 학술 영향력 평가가 왜곡되지 않도록 할 수 있는가?
• RQ2 V-인덱스는 h-인덱스 및 유사 지표에 비해 학술적 술기성 측정에 얼마나 더 정확한가?
• RQ3 V-인덱스는 개인 연구자 외에도 저널과 국가 연구 체계 평가에 효과적으로 적용될 수 있는가?
• RQ4 V-인덱스는 과학 분야의 상위 과학자를 어떻게 순위 매기며, h-인덱스 순위와 어떻게 다를까?
• RQ5 자기인용을 고려한 지표의 사용은 국가 연구 평가 및 정책 수립에 어떤 영향을 미칠 수 있는가?

주요 결과

• V-인덱스는 자기인용을 조정함으로써 높은 과학적 술기성을 지닌 연구자를 성공적으로 식별하여, h-인덱스에 비해 더 균형 잡힌 평가를 제공한다.
• 디블립의 과학 분야 상위 과학자 평가에서, 자기인용 비율이 높은 연구자에 대해 V-인덱스는 h-인덱스와 다른 순위를 보여주었다.
• 스카이마고의 컴퓨터공학 적용 분야 저널 평가에서, V-인덱스는 인용 영향력과 자기인용 패턴을 모두 반영한 더 세밀한 순위를 제공한다.
• 130개 국가의 2011년 연구 성과에 적용했을 때, V-인덱스는 자기인용 관행의 영향을 완화함으로써 국가 연구 성과 간 공정한 비교를 가능하게 했다.
• V-인덱스는 개인, 기관, 국가 수준을 포함한 다양한 학술 맥락에서 뛰어난 안정성과 확장성을 보였다.
• 지수는 자기인용을 적절히 반영할 경우, 단지 조작을 넘어서 학술적 유대감과 지속적인 연구 집중을 반영할 수 있음을 보여주었다.