[論文レビュー] The footprint of a metrics-based research evaluation system on Spanish philosophical scholarship: an analysis of researchers perceptions

Ramón A. Feenstra, Emilio Delgado López‐Cózar|arXiv (Cornell University)|Mar 22, 2021

Innovative Teaching Methodologies in Social Sciences被引用数 4

ひとこと要約

本研究は、スペインの指標に基づく研究評価制度が哲学研究者に与える影響を、アンケート調査（n=201）および深掘りインタビュー（n=14）を通じて調査した。調査結果は、文献計測指標が研究実践を歪めているという広範な認識を示している—高被引用誌への出版焦点のシフト、英語論文への偏り、研究アジェンダの変化、教育の価値低下、不正行為の増加、精神的健康への悪影響を伴う一方で、透明性の向上や生産性の向上といった一部の利点も見られた。

ABSTRACT

The use of bibliometric indicators in research evaluation has a series of complex impacts on academic inquiry. These systems have gradually spread into a wide range of locations and disciplines, including the humanities. The aim of the present study is to examine their effects as perceived by philosophy researchers in Spain, a country where bibliometric indicators have long been used to evaluate research. The study combines data from a self-administered questionnaire completed by 201 researchers and from 14 in-depth interviews with researchers selected according to their affiliation, professional category, gender and area of knowledge. Results show that the evaluation system is widely perceived to affect research behaviour in significant ways, particularly related to publication practices (document type and publication language), the transformation of research agendas and the neglect of teaching work, as well as increasing research misconduct and negatively affecting mental health. Although to a lesser extent, other consequences included increased research productivity and enhanced transparency and impartiality in academic selection processes.

研究の動機と目的

• スペインの長年にわたる指標に基づく研究評価制度が、哲学研究者の研究実践に与える影響を理解すること。
• 文献計測指標の影響が出版行動、研究アジェンダ、および学術的ワークライフバランスに与えるとされる結果を検討すること。
• 人文学分野の研究者に及ぼす評価制度の影響を、教育の認識度、研究不正、精神的健康の観点から評価すること。
• 指標に基づく評価の二面性を検討すること—負の歪みと、透明性や生産性の向上といった潜在的な利点。

提案手法

• スペインの大学、職位、性別、専門分野の層別を考慮した201名の哲学研究者を対象に、自記式オンラインアンケートを実施した。
• 機関所属、性別、教職位、研究分野にわたる多様性を確保するように選ばれた14名の研究者に対して、深掘りインタビューを実施した。
• 質的および量的データを統合し、指標に基づく評価が研究行動や機関の実践にどのように影響しているかを分析した。
• 研究者たちのナラティブから繰り返し現れるパターンを特定するため、テーマ的分析を用いた。
• 主な次元ごとに回答をマッピングした：出版言語および文書タイプ、研究アジェンダの変化、教育の認識度、精神的健康への影響。
• 指標に基づく評価の否定的および肯定的結果を評価した。具体的には、選考プロセスの公平性向上や研究出力の増加といった認識された利点を含めた。

実験結果

リサーチクエスチョン

• RQ1 スペインの哲学研究者は、指標に基づく評価制度が自身の出版実践にどのような影響を与えていると認識しているか？
• RQ2 指標に基づく評価制度は、スペインの哲学部における研究アジェンダや優先順位にどのような形で変化をもたらしたか？
• RQ3 現在の評価枠組み下で、教育の責任と貢献がどの程度軽視されていると認識されているか？
• RQ4 哲学研究者に及ぼす指標に基づく評価の影響が、研究不正および精神的健康にどのような認識されているか？
• RQ5 透明性の向上や研究生産性の増加といった、指標に基づく制度の利点が認識されているか？

主な発見

• アンケート回答者の過半数が、指標に基づく評価制度が出版先選定に顕著な影響を与えていると報告した。具体的には、学術分野特有の出版物や非英語出版物よりも、高被引用誌や英語論文の出版を優先する傾向が強まった。
• 研究者たちは、高い被引用数を生み出しやすいトピックに研究アジェンダがシフトしていると認識しており、これはしばしば伝統的あるいは長期的な哲学的探求を犠牲にしているとされた。
• 教育や教育的活動は、昇進や助成金決定において広く軽視され、評価されないとして認識されており、これが職業的不満の要因となっている。
• 多くの研究者が、評価の圧力によって研究不正（被引用数の操作、戦略的自己引用など）が増加していると報告した。
• 精神的健康は悪影響を受けており、多くの研究者が、成果志向の評価文化に起因するストレス、不安、燃え尽き症候群を経験していると報告した。
• 否定的影響にもかかわらず、一部の研究者らは、採用・昇進プロセスの透明性や公平性の向上、研究生産性の明確な増加といった利点を認めている。