[論文レビュー] Quality indicators for scientific journals based on experts opinion

Elea Giménez‐Toledo, Jorge Mañana-Rodríguez+1 more|arXiv (Cornell University)|Jul 4, 2013

Psychology Research and Bibliometrics参考文献 14被引用数 3

ひとこと要約

本研究では、社会科学および人文学分野の5,368名のスペイン研究者から得られた専門家評価に基づき、学術雑誌の品質指標を2つ開発した。0–10のスケールで専門家による雑誌品質の評価を収集し、合意形成を分析することで、認識された品質を反映する指標を構築した。これにより、雑誌の分類が可能となり、地域的焦点などの明確な特徴が明らかになった。

ABSTRACT

This paper presents the results and further development of a survey sent to 11,799 Spanish faculty members and researchers from various fields of the social sciences and the humanities, obtaining a total of 45.6% (5,368 responses) usable answers. Respondents were asked (a) to indicate the three most important journals in their field and (b) to rate them on a 0-10 scale according to their quality. The information obtained has been synthesized in two indicators which reflect the perceived quality of journals. Once the values were obtained, the journals were categorized according to each indicator and the ordinal positions were compared. Different profiles of journals are analyzed in connection with experts opinion, such as regional orientation, and the consensus among researchers is studied. Finally, the possibilities of extending the research and indicators to sets of international journals are explored.

研究の動機と目的

• 社会科学および人文学分野における専門家が認識する雑誌品質の認識を特定・定量化すること。
• 専門家評価に基づき、認識された雑誌品質を反映する2つの新しい品質指標を開発すること。
• 専門家による合意に基づく雑誌の特徴分析、特に地域的傾向や専門分野との整合性を含めること。
• この手法を国際的な雑誌セットに拡張可能かどうかを検討すること。

提案手法

• 社会科学および人文学分野の多様な分野に所属する11,799名のスペインの教員および研究者にアンケートを配布した。
• 回答者には、自身の分野で最も重要な3冊の雑誌を特定し、それぞれを0–10の品質スケールで評価するよう依頼した。
• 回答を集計し、専門家による合意と認識された品質を反映する2つの品質指標を算出した。
• 各指標に従って雑誌を順位付け・分類し、順位の整合性を確認するため、順位の比較を実施した。
• 地域的焦点や専門分野との整合性などの特徴に基づき、雑誌のプロファイルを分析した。
• 本研究では、このアプローチを国際的な雑誌セットにスケーリング可能かどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 社会科学および人文学のさまざまな分野において、専門家の意見ではどの雑誌が最も評価されているか？
• RQ2 異なる専門分野において、専門家の合意が雑誌品質の評価においてどの程度一貫しているか？
• RQ3 専門家基準の品質指標に基づいて雑誌を分類した場合、どのような特徴が浮き彫りになるか？
• RQ4 専門家の意見を体系的に集約して、信頼性のある品質指標に変換できる程度はどの程度か？
• RQ5 この手法を国際的な学術雑誌の品質評価に拡張できるか？

主な発見

• アンケートの回収率は45.6％であり、スペインの研究者から5,368件の有効な回答が得られた。
• 専門家評価に基づき、認識された雑誌品質を反映する2つの品質指標が成功裏に開発された。
• 研究者間で、自身の分野における上位雑誌について強い合意が形成された。
• 地域的焦点を持つ雑誌は、その地域の専門家から一貫して高い評価を受けていた。
• 2つの指標から導かれた順位付けには有意な相関が認められ、信頼性が裏付けられた。
• この手法は、国際的な雑誌評価フレームワークへの応用可能性を示している。