[논문 리뷰] How to evaluate universities in terms of their relative citation impacts: Fractional counting of citations and the normalization of differences among disciplines

Loet Leydesdorff, Jung Cheol Shin|arXiv (Cornell University)|2010. 10. 12.

scientometrics and bibliometrics research참고 문헌 39인용 수 7

한 줄 요약

이 논문은 과학 분야 간 인용 영향력을 정규화하여 다학제적 대학을 공정하게 평가할 수 있도록 분수 인용 계산 방법을 제안한다. 이는 분야별 인용 관행의 영향을 줄여 편향을 감소시킨다. 칠레의 일곱 대학 데이터를 활용하여, 분수 인용 계산이 순위 정확도를 향상시키고 네트워크 시각화를 통해 인용 청중의 차이를 드러내며, 다양한 연구 분야에서 기관 성과에 대한 보다 공정한 기준을 제공한다.

ABSTRACT

Fractional counting of citations can improve on ranking of multi-disciplinary research units (such as universities) by normalizing the differences among fields of science in terms of differences in citation behavior. Furthermore, normalization in terms of citing papers abolishes the unsolved questions in scientometrics about the delineation of fields of science in terms of journals and normalization when comparing among different journals. Using publication and citation data of seven Korean research universities, we demonstrate the advantages and the differences in the rankings, explain the possible statistics, and suggest ways to visualize the differences in (citing) audiences in terms of a network.

연구 동기 및 목표

• 다양한 연구 프로필을 가진 대학을 과학 분야 간 인용 행동의 다양성에 따라 비교하는 데 도전하는 것.
• 의료 과학과 같이 높은 인용 빈도를 보이는 분야에 유리한 영향을 미치는 전통적인 인용 지표의 한계를 극복하는 것.
• 저널 기반의 분야 구분에 의존하지 않고, 분야 간 인용 관행의 차이를 고려하여 인용 영향력을 정규화하는 방법을 개발하는 것.
• 다학제적 환경에서 기관의 연구 성과를 평가하는 데 더 공정하고 투명한 방식을 제공하는 것.
• 인용 패턴의 네트워크 분석을 통해 대학 간 인용 청중의 차이를 시각화하는 것.

제안 방법

• 각 논문의 인용을 해당 논문의 모든 저자에게 균등하게 나누는 분수 인용 계산을 적용하고, 저자 소속 기관에 따라 인용을 추가로 분배하는 방식.
• 칠레의 일곱 개 연구 대학의 출판 및 인용 데이터를 사용하여 기관별로 정규화된 인용 점수를 계산.
• 분수 인용을 통해 분야별 인용 행동을 조정하여, 분야 수준의 인용 빈도 차이로 인한 편향을 줄이는 방식으로 인용 영향력을 정규화.
• 인용 기관 간 네트워크 표현을 구축하여 대학 간 인용 청중의 다양성과 분포를 시각화.
• 분수 인용 기반 순위와 전통적인 인용 기반 순위를 비교하여 공정성과 정확도 향상을 평가.
• 다양한 기관 프로파일과 연구 분야에서 제안된 방법의 강건성과 일관성을 평가하기 위해 통계 분석을 수행.

실험 결과

연구 질문

• RQ1 다양한 연구 프로필을 가진 대학 간 과학 분야에서 인용 영향을 어떻게 공정하게 비교할 수 있는가?
• RQ2 분수 인용 계산은 기관 평가에서 분야별 인용 관행에 기인한 편향을 어느 정도 줄일 수 있는가?
• RQ3 다학제 기관에서 분수 인용 기반 순위와 전통적인 인용 기반 순위는 어떻게 다를까?
• RQ4 인용 패턴의 네트워크 시각화는 대학 간 연구 성과의 영향 범위와 청중의 의미 있는 차이를 드러낼 수 있는가?
• RQ5 저널이 아닌 인용 논문 기반의 정규화가 인용 기반 지표의 신뢰성과 타당성에 어떤 영향을 미치는가?

주요 결과

• 분수 인용 계산은 과학 분야 간 인용 행동의 차이를 고려함으로써 기관 순위의 편향을 크게 줄인다.
• 기존의 인용 기반 지표에 비해 다학제 기관에 대해 더 균형 잡히고 공정한 순위를 산출한다.
• 인용 빈도가 낮은 분야(예: 인문학 또는 수학)에서 우수한 성과를 내는 대학은 분수 인용 기반 평가에서 표준 인용 수에 비해 더 잘 인정받는다.
• 인용 패턴의 네트워크 시각화는 기관 간 인용 청중의 범위와 구성에 명백한 차이를 드러내며, 연구의 가시성과 다학제적 영향의 차이를 강조한다.
• 인용 논문 기반의 정규화는 저널 분류에 의존하는 임의의 분야 나누기에 대한 필요성을 제거하여 지표의 투명성을 향상시킨다.
• 본 연구는 분수 인용 계산이 이질적인 연구 포트폴리오를 가진 기관 간 비교에서 더 일관되고 해석 가능한 순위를 산출함을 입증한다.