[論文レビュー] How journal rankings can suppress interdisciplinarity. The case of innovation studies in business and management

Ismael Ràfols, Loet Leydesdorff+3 more|arXiv (Cornell University)|May 6, 2011

scientometrics and bibliometrics research被引用数 16

ひとこと要約

本研究は、引用および出版データを用いて、ジャーナルランクが、分野が狭い範囲に限定されたジャーナルを優遇することで、一括的分野研究を系統的に優遇し、結果として、統合的分野研究の単位に不利をもたらすことを示している。主な発見は、ビジネス・マネジメント学部が、研究の質が優れているからではなく、統合的分野研究を低く評価する構造的バイアスがあるジャーナルランクの仕組みのため、より好都合なパフォーマンス評価を受けることにある。

ABSTRACT

This study provides quantitative evidence on how the use of journal rankings can disadvantage interdisciplinary research in research evaluations. Using publication and citation data, it compares the degree of interdisciplinarity and the research performance of a number of Innovation Studies units with that of leading Business & Management schools in the UK. On the basis of various mappings and metrics, this study shows that: (i) Innovation Studies units are consistently more interdisciplinary in their research than Business & Management schools; (ii) the top journals in the Association of Business Schools' rankings span a less diverse set of disciplines than lower-ranked journals; (iii) this results in a more favourable assessment of the performance of Business & Management schools, which are more disciplinary-focused. This citation-based analysis challenges the journal ranking-based assessment. In short, the investigation illustrates how ostensibly 'excellence-based' journal rankings exhibit a systematic bias in favour of mono-disciplinary research. The paper concludes with a discussion of implications of these phenomena, in particular how the bias is likely to affect negatively the evaluation and associated financial resourcing of interdisciplinary research organisations, and may result in researchers becoming more compliant with disciplinary authority over time.

研究の動機と目的

• ジャーナルランクが、学術的パフォーマンス評価における統合的分野研究の評価に与える影響を調査すること。
• イギリスのイノベーションスタディーズ研究ユニットとビジネス・マネジメント学部の間での分野横断性と研究パフォーマンスを比較すること。
• 研究評価で用いられるジャーナルランクシステムが、一括的分野研究を統合的分野研究よりも系統的に優遇しているかどうかを評価すること。
• このようなバイアスが資金配分および分野の規範に準拠するための機関の立場に与える影響を検討すること。

提案手法

• イギリスのイノベーションスタディーズ研究ユニットおよびビジネス・マネジメント分野の研究ユニットの出版および引用データの定量的分析。
• 研究パフォーマンスの評価に引用ベースの指標を用いて、異なる分野グループにおけるパフォーマンスを測定すること。
• 研究ユニットが引用したジャーナルを用いて、分野の多様性をマッピングし、分野への関与の広がりを評価すること。
• ジャーナルランク（例：アソシエーション・オブ・ビジネス・スクールズ）と、実際のジャーナルの分野的多様性を比較して、バイアスを特定すること。
• イノベーションスタディーズとビジネス・マネジメントユニット間での分野横断性レベルを比較するための指標の適用。
• 研究範囲や共同研究のパターンの違いにもかかわらず、ランクシステムがパフォーマンス評価結果にどのように影響するかの分析。

実験結果

リサーチクエスチョン

• RQ1 イギリスのイノベーションスタディーズ研究ユニットは、ビジネス・マネジメント学部と比べてどの程度分野横断的であるか？
• RQ2 アソシエーション・オブ・ビジネス・スクールズのランクで上位にランクされたジャーナルの分野的多様性は、下位にランクされたジャーナルと比べてどの程度低いのか？
• RQ3 ジャーナルランクが、一括的分野研究に有利に働くように、研究パフォーマンスの評価をどの程度歪めているのか？
• RQ4 このようなバイアスが、統合的分野研究ユニットの資金獲得および機関的立位置にどのような影響を及えるのか？

主な発見

• イノベーションスタディーズ研究ユニットは、ビジネス・マネジメント学部と比べて一貫して高い分野横断性を示している。
• アソシエーション・オブ・ビジネス・スクールズのランク上位に位置するジャーナルは、ランク下位のジャーナルと比べて分野的多様性が低い。
• 引用ベースのパフォーマンス評価では、ジャーナルランクの構造的バイアスにより、ビジネス・マネジメント学部がより好都合な評価を受けることが明らかになった。
• ジャーナルランクは、分野が狭い範囲に限定されたジャーナルを優遇することで、一括的分野研究を系統的に優遇している。
• ジャーナルランクのバイアスは、分野中心の研究に不当な優位性をもたらし、パフォーマンス評価を歪めている。
• このシステム的なバイアスは、統合的分野研究を抑制する可能性があり、研究者が資金獲得や評価を得るために分野の規範に従うよう圧力を受けることにつながる。