[논문 리뷰] Building Journal Impact Factor Quartile into the Assessment of Academic Performance: A Case Study

Keziban Orbay, Rubén Miranda외 1명|arXiv (Cornell University)|2020. 05. 06.

Educational Methods and Analysis인용 수 6

한 줄 요약

이 연구는 학술 성과 평가의 편향을 줄이기 위해 분야별 카테고리 내에서 저널 영향력 요인 사분위수(Q Concept)를 도입한다. 웹오브사이언스에 인덱스된 저널에 게재된 2014–2018년 암라사 대학의 논문을 분석한 결과, Q4 저널(낮은 영향력)에 게재된 논문 비율이 36.49%로 높았고, Q1 저널(높은 영향력)은 14.32%에 그쳤으며, Q1 논문은 평균적으로 Q4 논문보다 6배 더 많은 인용을 받았다. 이는 사분위수 기반 평가가 학술 평가에 있어 가치가 있음을 시사한다.

ABSTRACT

This study aims to provide information about the Q Concept defined as the division of journal impact factors into quartiles based on given field categories so that the disadvantages resulting from the direct use of journal impact factors can be eliminated. While the number of "Original articles published in the Web of Science (WoS) database-indexed journals like SCI, SSCI and A&HCI" is an important indicator for research assessment in Turkey, neither the journal impact factors nor the Q Concept of these papers have been taken into account. Present study analyzes the scientific production of the Amasya University researchers in journals indexed in WoS database in the period 2014-2018 using the Q concept. The share of publications by Q category journals as well as the average citations received by the works from Amasya University were compared to the average situation in Turkey and other different countries in the world. Results indicate that the articles published by Amasya University researchers were mostly published in low impact factor journals (Q4 journals) (36.49%), in fact, only a small share of papers were published in high impact journals (14.32% in Q1 journals). The share of papers published in low impact journals by researchers from Amasya University is higher than the Turkish average and much higher than the scientific leading countries. The average citations received by papers published in Q1 journals was around six times higher than papers published in Q4 journals (8.92 vs. 1.56), thus papers published in Q1 journals received 30.02% citations despite only 14.32% of the papers was published in these journals. The share of papers published which were never cited in WoS was 27.48%, increasing from 9.68% in Q1 to almost half (48.10%) in Q4. The study concludes with some suggestions on how and where the Q Concept can be used.

연구 동기 및 목표

• 원시 저널 영향력 요인을 사용할 경우 발생하는 학술 성과 평가의 한계를 해결하기 위해.
• 분야별 카테고리 내에서 사분위수 기반 분류를 적용한 Q Concept을 도입하고, 연구 평가의 편향을 줄이기 위해.
• 2014–2018년 기간 동안 암라사 대학 연구자들의 출판 및 인용 패턴을 Q Concept를 활용해 분석하기 위해.
• 국가(터키) 및 국제 기준과 비교해 암라사 대학의 저널 사분위수 분포를 비교하기 위해.
• 연구 평가 시스템에 Q Concept를 통합하기 위한 근거 기반 권고안을 제시하기 위해.

제안 방법

• 분야별로 저널 영향력 요인을 사분위수(Q1–Q4)로 나누어 적용함으로써 분야별 공정성을 확보하였다.
• 암라사 대학의 과학적 성과(2014–2018)는 웹오브사이언스(WoS) 데이터베이스에서 추출되었으며, 주로 SCI, SSCI 및 A&HCI에 인덱스된 저널을 대상으로 하였다.
• 논문은 저널의 사분위수(Q1–Q4)로 분류되었고, 각 사분위수별 인용 수를 분석하여 영향력을 평가하였다.
• 각 사분위수의 논문 비율을 국가(터키) 및 세계 평균과 비교하여 격차를 파악하였다.
• 각 사분위수 간 인용률과 비인용 논문 비율을 계산하고 비교하여 연구 영향력을 평가하였다.
• 암라사 대학의 성과를 글로벌 기준과 비교하여 상대적 연구 품질을 평가하기 위해 통계적 비교를 실시하였다.

실험 결과

연구 질문

• RQ1 암라사 대학의 학술 성과는 저널 영향력 요인 사분위수(Q1–Q4)에 어떻게 분포되어 있는가?
• RQ2 암라사 대학에서 Q1 및 Q4 저널에 게재된 논문의 인용률은 어떻게 다름이 있는가?
• RQ3 암라사 대학에서 각 저널 사분위수 간 비인용 논문 비율은 어떻게 다름이 있는가?
• RQ4 암라사 대학의 고영향력 저널 출판 비율은 터키 국가 평균 및 선진 과학국가들과 비교해 어떻게 다른가?
• RQ5 Q Concept는 학술 성과 평가의 공정성과 정확성을 어느 정도 향상시키는가?

주요 결과

• 암라사 대학의 논문 중 36.49%가 Q4 저널에 게재되어 낮은 영향력 저널에 집중되어 있음을 시사한다.
• Q1 저널에 게재된 논문 비율은 14.32%에 그치며, 이는 터키 국가 평균 및 글로벌 선도국보다 현저히 낮다.
• Q1 저널 논문의 평균 인용 수는 8.92건이었고, Q4 저널 논문은 1.56건으로 평균 6배 이상 높았다.
• Q1 논문은 전체 논문의 14.32%에 불과했지만 총 인용 수의 30.02%를 차지하여 영향력이 극도로 높은 것으로 나타났다.
• 비인용 논문 비율은 Q1에서 9.68%에서 Q4로 갈수록 48.10%로 증가하여 사분위수 간 인용 격차가 뚜렷하게 드러났다.
• 암라사 대학의 Q4 논문 비율은 터키 국가 평균 및 선진 과학국가 평균을 초과하여 연구 평가에서 저널 선택 개선이 필요함을 시사한다.