[논문 리뷰] Investigation of Partition Cells as a Structural Basis Suitable for Assessments of Individual Scientists

Nadine Rons|arXiv (Cornell University)|2014. 09. 08.

scientometrics and bibliometrics research참고 문헌 15인용 수 5

한 줄 요약

이 논문은 연구 성과 평가의 구조적 기반으로서 분할 셀(분할 셀은 세밀한 주제 카테고리 간의 교차로 구성됨)을 조사한다. ERC 수혜자 데이터를 활용하여, 분할 셀이 더 넓은 주제 카테고리나 시간적/인용 윈도우 지표보다 개인의 출판 전문화도를 더 정확하게 반영하며, 더 정확하고 안정적인 인용 기준값을 제공함을 입증한다.

ABSTRACT

Individual, excellent scientists have become increasingly important in the research funding landscape. Accurate bibliometric measures of an individual's performance could help identify excellent scientists, but still present a challenge. One crucial aspect in this respect is an adequate delineation of the sets of publications that determine the reference values to which a scientist's publication record and its citation impact should be compared. The structure of partition cells formed by intersecting fixed subject categories in a database has been proposed to approximate a scientist's specialty more closely than can be done with the broader subject categories. This paper investigates this cell structure's suitability as an underlying basis for methodologies to assess individual scientists, from two perspectives: (1) Proximity to the actual structure of publication records of individual scientists: The distribution and concentration of publications over the highly fragmented structure of partition cells are examined for a sample of ERC grantees; (2) Proximity to customary levels of accuracy: Differences in commonly used reference values (mean expected number of citations per publication, and threshold number of citations for highly cited publications) between adjacent partition cells are compared to differences in two other dimensions: successive publication years and successive citation window lengths. Findings from both perspectives are in support of partition cells rather than the larger subject categories as a journal based structure on which to construct and apply methodologies for the assessment of highly specialized publication records such as those of individual scientists.

연구 동기 및 목표

• 연구 자금 지원 맥락에서 개인 과학자의 성과를 정확하게 평가하는 데 도전 과제를 해결한다.
• 개별 연구 성과 평가를 위한 넓은 주제 카테고리 사용의 한계를 규명한다.
• 고도로 세분화된 분할 셀(고정된 주제 카테고리 간의 교차로 구성됨)이 개인 과학자의 전문화도를 더 잘 반영하는지 평가한다.
• 분할 셀에서 유도된 인용 기반 기준값(예: 논문당 평균 인용수, 높은 인용수 기준치)의 안정성과 정확도를 평가한다.
• 기존의 기준 차원과 비교: 연속적인 출판 연도와 인용 윈도우 길이

제안 방법

• 문헌 기반 데이터베이스에서 고정된 주제 카테고리를 교차시켜 분할 셀을 구축하여 고도로 세분화된 분류 체계를 형성한다.
• ERC 수혜자 샘플의 출판 분포를 분석하여 분할 셀이 개인 과학자의 연구 프로필과의 구조적 일치도를 평가한다.
• 인접한 분할 셀 내에서 기준값(논문당 평균 인용수 및 높은 인용수 논문 기준치)을 계산한다.
• 분할 셀 간의 기준값 변동성을 연속적인 출판 연도나 인용 윈도우 길이 간의 변동성과 비교한다.
• 통계적 비교를 통해 분할 셀이 실제 출판 패턴과 얼마나 가까이 맞는지, 그리고 전통적인 정확도 수준에 얼마나 부합하는지 평가한다.

실험 결과

연구 질문

• RQ1 분할 셀은 개인 과학자의 연구 전문화도에 따라 실제 출판 분포를 어느 정도 반영하는가?
• RQ2 인접한 분할 셀 간의 인용 기준값(논문당 평균 인용수 및 높은 인용수 기준치)의 변동성은 연속적인 출판 연도나 인용 윈도우 길이 간의 변동성보다 어떻게 다를까?
• RQ3 분할 셀 구조는 더 넓은 주제 카테고리보다 개인 과학자의 성과 평가에 더 적합한가?
• RQ4 분할 셀을 사용할 경우 개별 연구자의 bibliometric 평가가 더 안정적이고 정확한가?
• RQ5 분할 셀은 매우 전문화된 과학적 성과 평가 방법론의 신뢰할 수 있는 구조적 기반으로 기능할 수 있는가?

주요 결과

• 분할 셀 내 출판 분포는 개인 과학자의 실제 출판 패턴과 밀접하게 일치하여 강력한 구조적 일치도를 보인다.
• 인접한 분할 셀 간의 기준값(논문당 평균 인용수 및 높은 인용수 기준치)의 차이는 연속적인 출판 연도나 인용 윈도우 길이 간의 변화보다 유의미하게 작다.
• 분할 셀은 더 높은 안정성과 정밀도를 보이며, 개인 연구 성과 평가에 더 정확한 기준을 제공함을 시사한다.
• 본 연구는 분할 셀이 개인 과학자의 진정한 연구 전문 분야를 더 잘 반영함을 확인한다.
• 전통적인 시간적 또는 카테고리 기반 기준 차원보다 분할 셀이 개인 과학자의 bibliometric 평가에 더 신뢰할 수 있고 맥락에 민감한 구조적 기반을 제공한다.
• 연구 결과는 분할 셀을 연구자 중심의 평가 기반으로 도입할 것을 지지한다. 이는 자금 지원 및 정책 수립 맥락에서 핵심 기초 구조가 될 수 있다.