[논문 리뷰] Citation analysis cannot legitimate the strategic selection of excellence

Tobias Opthof, Loet Leydesdorff|arXiv (Cornell University)|2011. 02. 13.

scientometrics and bibliometrics research참고 문헌 14인용 수 4

한 줄 요약

이 논문은 인용 분석을 통해 학술 우수성을 전략적으로 선별하는 데의 정당성을 도전하며, 최근 제안된 '크라운' 지표를 포함한 핵심 인용 지표들이 심층 평가 기반의 품질 평가와 유의미한 상관관계를 보이지 않음을 입증한다. Van Raan(2006)의 공개된 데이터를 바탕으로, 저자들은 인용 지표가 심층 평가 기반의 품질 측정과 일치하지 않음을 보여주며, 고위험 평가 결정에서의 사용을 뒷받 Circa 2006년에 발표된 Van Raan의 데이터를 활용하여, 인용 지표가 심층 평가 기반의 품질 측정과 일치하지 않음을 입증함으로써, 고위험 평가 결정에서의 사용을 뒷받침하지 못함을 밝힌다.

ABSTRACT

In reaction to a previous critique(Opthof & Leydesdorff, 2010), the Center for Science and Technology Studies (CWTS) in Leiden proposed to change their old "crown" indicator in citation analysis into a new one. Waltman et al. (2011)argue that this change does not affect rankings at various aggregated levels. However, CWTS data is not publicly available for testing and criticism. In this correspondence, we use previously published data of Van Raan (2006) to address the pivotal issue of how the results of citation analysis correlate with the results of peer review. A quality parameter based on peer review was neither significantly correlated with the two parameters developed by the CWTS in the past (CPP/JCSm or CPP/FCSm) nor with the more recently proposed h-index (Hirsch, 2005). Given the high correlations between the old and new "crown" indicators, one can expect that the lack of correlation with the peer-review based quality indicator applies equally to the newly developed ones.

연구 동기 및 목표

• 인용 분석 지표가 학술 우수성의 전략적 선별을 정당화할 수 있는지 평가하기.
• 인용 기반 지표와 심층 평가 기반 품질 평가 간의 상관관계를 조사하기.
• 인용 분석에서 최근 제안된 '크라운' 지표가 심층 평가 기반의 품질 판단과 일치하는지 평가하기.
• 연구 정책 및 자금 배분 결정에서 인용 지표를 학술 우수성의 대체 지표로 사용하는 것의 타당성을 도전하기.

제안 방법

• Van Raan(2006)의 연구 성과 및 인용 지표에 관한 이전에 발표된 데이터를 활용하였다.
• 심층 평가 기반의 품질 지표와 CPP/JCSm, CPP/FCSm, h-지수를 포함한 여러 인용 기반 지표를 비교하였다.
• 심층 평가에서 유도된 품질 파rameter와 다양한 인용 지표 간의 상관관계를 평가하였다.
• 기존의 '크라운' 지표의 정당성에 영향을 미칠 수 있는, 상관관계 부족의 함의를 평가하였다.
• 관측된 상관관계의 유의미성을 검증하기 위해 통계 분석을 사용하였다.
• 기존 인용 지표와 유사한 행동을 보일 것으로 가정하여, 새로운 '크라운' 지표의 성능을 유추하였다.

실험 결과

연구 질문

• RQ1 인용 분석 지표가 심층 평가 기반의 품질 평가와 어느 정도 상관관계가 있는가?
• RQ2 인용 분석에서 최근 제안된 '크라운' 지표는 학술 우수성의 타당한 대체 지표로 간주될 수 있는가?
• RQ3 기존 인용 지표와 심층 평가 간의 상관관계 부족은 인용 기반 평가의 정당성에 어떤 영향을 미치는가?
• RQ4 새로운 '크라운' 지표는 심층 평가 기반의 품질을 반영하는 데 기존 지표와 어떻게 비교되는가?
• RQ5 인용 지표와 심층 평가 간의 약한 상관관계는 연구 평가 정책에 어떤 함의를 지닌다?

주요 결과

• 심층 평가 기반의 품질 파rameter는 CWTS에서 개발한 CPP/JCSm 또는 CPP/FCSm 인용 지표와 유의미한 상관관계를 보이지 않았다.
• 심층 평가 기반의 품질 지표는 널리 사용되는 인용 지표인 h-지수와도 유의미한 상관관계를 보이지 않았다.
• 기존 지표와 신규 '크라운' 지표 간의 높은 상관관계를 고려할 때, 심층 평가와의 상관관계 부족은 새로 제안된 지표로도 예상된다.
• 연구 결과는 인용 분석이 연구 평가에서 우수성의 전략적 선별을 정당화할 수 없다는 것을 시사한다.
• 이 연구는 고위험 의사결정 환경에서 인용 지표를 학술 품질의 신뢰할 수 있는 대체 지표로 사용하는 것을 도전한다.
• 결과는 인용 기반 평가 시스템이 전문가 패anel이 평가한 진정한 연구 품질을 체계적으로 왜곡할 수 있음을 암시한다.