[論文レビュー] Building Journal Impact Factor Quartile into the Assessment of Academic Performance: A Case Study

Keziban Orbay, Rubén Miranda+1 more|arXiv (Cornell University)|May 6, 2020

Educational Methods and Analysis被引用数 6

ひとこと要約

本研究では、分野別カテゴリー内のジャーナル影響度係数四分位数（Q Concept）を導入し、原始的な影響度係数によるバイアスを低減することで、学術的パフォーマンス評価を改善することを目的としている。Web of Scienceにインデックス済みのジャーナルに掲載されたアマシヤ大学の2014年から2018年の出版物を分析した結果、36.49％の論文が低影響度のQ4ジャーナルに掲載されていた一方で、Q1ジャーナルに掲載された論文はわずか14.32％にとどまり、Q1論文の平均被引用回数はQ4論文の6倍にのぼった。これは、研究評価における四分位数ベースの評価の価値を示している。

ABSTRACT

This study aims to provide information about the Q Concept defined as the division of journal impact factors into quartiles based on given field categories so that the disadvantages resulting from the direct use of journal impact factors can be eliminated. While the number of "Original articles published in the Web of Science (WoS) database-indexed journals like SCI, SSCI and A&HCI" is an important indicator for research assessment in Turkey, neither the journal impact factors nor the Q Concept of these papers have been taken into account. Present study analyzes the scientific production of the Amasya University researchers in journals indexed in WoS database in the period 2014-2018 using the Q concept. The share of publications by Q category journals as well as the average citations received by the works from Amasya University were compared to the average situation in Turkey and other different countries in the world. Results indicate that the articles published by Amasya University researchers were mostly published in low impact factor journals (Q4 journals) (36.49%), in fact, only a small share of papers were published in high impact journals (14.32% in Q1 journals). The share of papers published in low impact journals by researchers from Amasya University is higher than the Turkish average and much higher than the scientific leading countries. The average citations received by papers published in Q1 journals was around six times higher than papers published in Q4 journals (8.92 vs. 1.56), thus papers published in Q1 journals received 30.02% citations despite only 14.32% of the papers was published in these journals. The share of papers published which were never cited in WoS was 27.48%, increasing from 9.68% in Q1 to almost half (48.10%) in Q4. The study concludes with some suggestions on how and where the Q Concept can be used.

研究の動機と目的

• 原始的なジャーナル影響度係数を用いた学術的パフォーマンス評価における限界を是正すること。
• 分野別カテゴリー内でのジャーナルの四分位数ベースの分類であるQ Conceptを提唱・適用し、研究評価におけるバイアスを低減すること。
• アマシヤ大学の研究者（2014–2018年）の出版および被引用パターンをQ Conceptを用いて分析すること。
• アマシヤ大学のジャーナル四分位数ごとの出版分布を、国内（トルコ）および国際的な基準と比較すること。
• Q Conceptを研究評価システムに統合するための根拠に基づく提言を提供すること。

提案手法

• Q Conceptは、特定の学術分野内でジャーナル影響度係数を四分位数（Q1–Q4）に分け、分野別公平性を確保することで適用された。
• アマシヤ大学の科学的業績（2014–2018年）は、Web of Science（WoS）データベースから抽出され、SCI、SSCI、A&HCIインデックスジャーナルに限定された。
• 論文はジャーナルの四分位数（Q1–Q4）に分類され、各四分位数ごとの被引用回数が分析され、影響度が評価された。
• 各四分位数における出版物の割合を、国内（トルコ）および世界平均と比較して格差を特定した。
• 被引用率および非被引用論文の割合を四分位数ごとに計算・比較し、研究の影響度を評価した。
• アマシヤ大学のパフォーマンスとグローバルベンチマークとの間で統計的比較がなされ、相対的な研究品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 アマシヤ大学の研究業績は、ジャーナル影響度係数四分位数（Q1–Q4）のどの程度に分布しているか？
• RQ2 アマシヤ大学において、Q1ジャーナルとQ4ジャーナルに掲載された論文の被引用率はどのように異なるか？
• RQ3 アマシヤ大学において、非被引用論文の割合は、ジャーナル四分位数ごとにどのように異なるか？
• RQ4 アマシヤ大学の高影響度ジャーナルへの出版分布は、トルコの全国平均および主要科学国と比較してどの程度か？
• RQ5 Q Conceptは、学術的パフォーマンス評価の公平性と正確性をどの程度向上させるか？

主な発見

• アマシヤ大学の論文の36.49％がQ4ジャーナルに掲載されており、低影響度ジャーナルへの集中が顕著である。
• Q1ジャーナルに掲載された論文はわずか14.32％にとどまり、これはトルコの全国平均および世界のリーダー国と比べて顕著に低い。
• Q1ジャーナルに掲載された論文の平均被引用回数は8.92回であったのに対し、Q4ジャーナルの論文は1.56回にとどまり、6倍以上も高い。
• Q1論文は全体の論文数の14.32％にとどまっているが、合計被引用回数の30.02％を占めており、影響度が著しく不均衡であることが示された。
• 非被引用論文の割合は、Q1で9.68％からQ4では48.10％に上昇しており、四分位数間での被引用格差が顕著に現れている。
• アマシヤ大学のQ4論文の割合は、トルコの全国平均および主要科学国を上回っており、研究評価におけるジャーナル選定の改善が求められている。