[논문 리뷰] Solo citations, duet citations, and prelude citations: New measures of the disruption of academic papers

Qiang Wu, Zhaoyang Yan|arXiv (Cornell University)|2019. 05. 09.

scientometrics and bibliometrics research참고 문헌 12인용 수 9

한 줄 요약

이 논문은 음악에 비유하여 학술 논문의 혁신성과 영향력을 측정하기 위해 세 가지 새로운 인용 기반 지표인 솔로 인용(SC), 듀엣 인용(DC), 프리루드 인용(PC)을 도입한다. 일반 평가 공식을 제안하며, 연구 혁신성을 평가하는 데 가장 논리적이고 경험적으로 타당한 지표로 SC, SC-DC, SC/(SC+DC), (SC-DC)/(SC+DC)를 확인한다.

ABSTRACT

It is important to measure the disruption of academic papers. According to the characteristics of three different kinds of citations, this paper borrows musical vocabulary and names them solo citations (SC), duet citations (DC), and prelude citations (PC) respectively. Studying how to measure the disruption of a published work effectively, this study analyzes nine indicators and suggests a general evaluation formula. Seven of the nine indicators are innovations introduced by this paper: SC, SC-DC, SC-PC, SC-DC-PC, (SC-DC)/(SC+DC), (SC-PC)/(SC+DC), and (SC-DC-PC)/(SC+DC), as is the general formula. These indices are discussed considering two cases: One case concerns the Citation Indexes for Science and the other concerns Co-citations. The results show that, compared with other indicators, four indicators (SC, SC-DC, SC/(SC+DC), and (SC-DC)/(SC+DC)) are logically and empirically reasonable. Future research may consider combining these indices, for example, using SC multiplied by SC/(SC+DC) or SC-DC multiplied by (SC-DC)/(SC+DC), to get final evaluation results that contain desirable characteristics of two types of indicators. Confirming which of the evaluation results from these indicators can best reflect the innovation of research papers requires much empirical analysis.

연구 동기 및 목표

• 기존의 인용 횟수 외에 학술 논문의 혁신성과 영향력을 측정하기 위한 새로운 의미 있는 지표를 개발하기 위해.
• 기존 인용 지표의 한계를 보완하고, 인용 패턴에 기반한 맥락 민감성 측정법을 도입하기 위해.
• 인용 색인과 공인용 네트워크라는 두 가지 인용 맥락에서 제안된 아홉 가지 인용 기반 지표의 논리적 타당성과 경험적 일관성을 평가하기 위해.
• 연구 논문의 혁신성과 파급 영향력을 효과적으로 반영하는 가장 견고한 지표를 규명하기 위해.
• 미래의 연구 평가에 활용하기 위해 다수의 지표를 통합하는 일반 평가 공식을 제안하기 위해.

제안 방법

• 음악 용어에서 영감을 얻어 솔로 인용(SC), 듀엣 인용(DC), 프리루드 인용(PC)이라는 세 가지 새로운 인용 유형을 제안한다.
• 다음 아홉 가지 새로운 지표를 정의한다: SC, SC-DC, SC-PC, SC-DC-PC, (SC-DC)/(SC+DC), (SC-PC)/(SC+DC), (SC-DC-PC)/(SC+DC); 분모에 SC+DC를 사용하여 정규화한다.
• 이 지표들을 인용 색인과 공인용 네트워크라는 두 가지 인용 맥락에 적용한다.
• 실제 인용 데이터를 활용하여 지표들의 논리적 일관성과 일관성을 경험적으로 평가한다.
• 다양한 지표의 유익한 특성을 통합하기 위해 지표 조합(예: SC × SC/(SC+DC))을 제안한다.
• 가장 유망한 지표들을 바탕으로 향후 연구 평가에 활용할 수 있는 일반 평가 공식을 유도한다.

실험 결과

연구 질문

• RQ1 어느 인용 기반 지표가 논리적으로 일관되게 학술 논문의 혁신적 영향력을 가장 잘 반영하는가?
• RQ2 제안된 지표들인 SC, DC, PC는 Citation Indexes와 공인용 네트워크와 같은 다양한 인용 맥락에서 어떻게 성능을 보이는가?
• RQ3 여러 지표의 조합이 단일 지표보다 더 견고한 연구 혁신 평가를 가능하게 하는가?
• RQ4 아홉 가지 제안된 지표 중에서 논리적 타당성과 경험적 타당성을 모두 만족하는 것은 무엇인가?
• RQ5 다수의 인용 기반 지표를 통합하여 통합 평가 프레임워크로 활용할 수 있는 최적의 공식은 무엇인가?

주요 결과

• SC, SC-DC, SC/(SC+DC), (SC-DC)/(SC+DC)의 네 가지 지표는 다양한 인용 맥락에서 논리적이고 경험적으로 타당한 것으로 확인되었다.
• (SC-DC)/(SC+DC) 지표는 강력한 논리 일관성을 보이며, 인용 수 변동에 덜 민감한 것으로 나타났다.
• SC/(SC+DC) 지표는 공동 저자 또는 공통 기초 자료를 공유하는 인용의 총 수 대비 고유하고 중복되지 않은 인용의 비율을 효과적으로 반영한다.
• SC-DC 및 SC-DC-PC는 더 불안정하고 경험적 성능이 열악하여 혁신 측정에 한계가 있음을 시사한다.
• 지표의 조합, 예를 들어 SC와 SC/(SC+DC)를 곱하는 방식이 더 정보적인 평가 결과를 도출할 수 있음을 확인하였다.
• 최고 성능을 보인 지표들을 통합한 일반 평가 공식은 연구 혁신 평가에 대해 탄력적이고 원칙적인 접근법을 제공한다.