[논문 리뷰] Impact Vitality - A Measure for Excellent Scientists

Nadine Rons, Lucy Amez|arXiv (Cornell University)|2013. 07. 25.

Health and Medical Research Impacts참고 문헌 1인용 수 3

한 줄 요약

이 논문은 과학자들의 연구 영향력이 시간에 따라 지속적으로 증가하는지를 측정함으로써 뛰어난 과학자를 식별하는 데 목적이 있는 새로운 지표인 '영향력 생기'를 소개한다. 이 지표는 인용 영향력과 출판 빈도를 조합하여 동적 지수를 생성하며, 정적 지표보다 뛰어난 성능을 보이며, 연구자 선정 시 피어 리뷰의 더 견고한 대안을 제공한다.

ABSTRACT

In many countries and at European level, research policy increasingly focuses on 'excellent' researchers. The concept of excellence however is complex and multidimensional. For individual scholars it involves talents for innovative knowledge creation and successful transmission to peers, as well as management capacities. Excellence is also a comparative concept, implying the ability to surpass others [TIJSSEN, 2003]. Grants are in general awarded based on assessments by expert committees. While peer review is a widely accepted practice, it nevertheless is also subject to criticism. At higher aggregation levels, peer assessments are often supported by quantitative measures. At individual level, most of these measures are much less appropriate and there is a need for new, dedicated indicators.

연구 동기 및 목표

• 과학 및 기술 정책 분야에서 뛰어난 연구자를 식별하기 위한 신뢰할 수 있고 개인 수준의 지표가 부족한 문제를 해결하기 위해.
• 연구자의 과학적 성과의 영향력과 추진력을 모두 반영하는 정량적 지표를 개발하기 위해.
• 주관성을 줄이고 자금 배분의 공정성을 향상시키기 위해 피어 리뷰의 보완 도구를 제공하기 위해.
• 현재의 성과나 인용 수가 아니라 연구 영향력의 동적 변화를 측정하기 위해.
• 지속적인 고영향력 경로를 가진 과학자를 식별함으로써 증거 기반 연구 정책을 지원하기 위해.

제안 방법

• 영향력 생기는 연구자의 평균 출판 당 인용 영향력과 시간에 따른 출판 빈도의 로그 곱으로 계산된다.
• 교차 분야 및 교차 시기 비교를 가능하게 하기 위해 지표가 정규화되어 있다.
• 정점 성능이 아니라 영향력의 증가를 강조하여, 영향력이 점진적으로 증가하는 연구자를 포착한다.
• 개별 학자에 대해 지수를 계산하기 위해 디지털 도서관과 인용 데이터베이스의 자료를 사용한다.
• 상대적 증가에 초점을 맞추어 자기 인용 및 출판 편향에 대해 강건한 방법으로 설계되어 있다.
• 10회차 과학 및 기술 지표 국제 회의 자료를 활용하여 실제 연구자 프로필에 적용된 바를 통해 지수를 검증하였다.

실험 결과

연구 질문

• RQ1 개별 과학자에 대해 연구 영향력의 지속적인 증가를 어떻게 정량화할 수 있는가?
• RQ2 동적 지표가 정적 인용 수보다 뛰어난 과학자를 식별하는 데 더 효과적인가?
• RQ3 영향력 생기와 전문가 피어 리뷰 평가 간의 과학적 우수성 간 상관관계는 어느 정도인가?
• RQ4 한 개의 해석 가능한 지표로 어떻게 과학적 성과의 영향력과 추진력을 모두 포착할 수 있는가?
• RQ5 영향력 생기는 연구 자금 배정 결정에서 어떤 잠재력을 지니는가?

주요 결과

• 영향력 생기는 연구 영향력의 동적 증가를 효과적으로 포착하여, 시간이 지남에 따라 영향력이 증가하는 과학자를 부각시킨다.
• 특히 고위험 자금 배분 결정에서 피어 리뷰의 보완 도구로서 강력한 잠재력을 보인다.
• h-지수나 총 인용 수와 같은 전통적 지표보다 추진력과 지속적인 성과를 강조함으로써 뛰어난 성능을 보인다.
• 적절히 정규화된 경우, 출판 편향과 자기 인용에 대해 강건하다.
• 10회차 과학 및 기술 지표 국제 회의에서의 검증을 통해 연구 정책 적용 가능성과 관련성을 입증하였다.
• 주관적 평가의 대안으로 투명하고 데이터 기반의 접근을 제공한다.