[論文レビュー] Throwing Out the Baby with the Bathwater: The Undesirable Effects of National Research Assessment Exercises on Research

John Mingers, Leroy White|Kent Academic Repository (University of Kent)|Feb 2, 2015

Primary Care and Health Outcomes参考文献 87被引用数 8

ひとこと要約

この論文は、英国の国家研究評価プロセス、特に2008年のRAEと2014年のREFを批判しており、その設計が意図せず戦略的ゲームを奨励し、学術的誠実性を損なわせ、研究の質を損なうとしている。ボルディューの文化的再生理論を用いて、学術的優位性よりも機関の業績を重視する評価フレームワークの構造的欠陥を露呈し、研究評価の整合性を保ちつつその根幹的目標を損なわないように改革を求める。

ABSTRACT

The evaluation of the quality of research at a national level has become increasingly common. The UK has been at the forefront of this trend having undertaken many assessments since 1986, the latest being the Research Excellence Framework in 2014. The argument of this paper is that, whatever the intended results in terms of evaluating and improving research, there have been many, presumably unintended, results that are highly undesirable for research and the university community more generally. We situate our analysis using Bourdieu's theory of cultural reproduction and then focus on the peculiarities of the 2008 RAE and the 2014 REF the rules of which allowed for, and indeed encouraged, significant game-playing on the part of striving universities. We conclude with practical recommendations to maintain the general intention of research assessment without the undesirable side-effects.

研究の動機と目的

• 英国における学術研究に及ぼす国家研究評価プロセスの予期しない否定的影響を分析すること。
• 2008年のRAEと2014年のREFのルールが大学の戦略的行動や機関的ゲームをどのように奨励したかを特定すること。
• 機関のインcentivesとパワー・ダイナミクスを通じて評価フレームワークが研究実践をどのように歪めているかを検討すること。
• 研究評価の正当性を維持しつつ有害な副作用を排除する実用的改革を提言すること。
• ボルディューの文化的再生理論を応用し、研究評価における学術的不平等の構造的再生を理解すること。

提案手法

• ピエール・ボルディューの文化的再生理論を根拠とした理論的分析により、研究評価システムにおけるパワー・ダイナミクスと象徴的暴力を解釈すること。
• 2008年のRAEと2014年のREFを比較した事例研究として、ルール設計と機関の反応に焦点を当てる。
• 大学が研究出力を操作し、提出戦略を変更するのを促す構造的インセンティブの特定。
• 公式の評価ガイドラインと機関行動の批判的ディス course 分析により、公式な目的と実際の成果との矛盾を暴露すること。
• 学術的ディス course と機関の実践からの定性的証拠を用いて、評価の圧力による研究の質の低下を説明すること。
• 研究結果を統合し、国家研究評価フレームワークの改革に向けた実行可能な提言を提示すること。

実験結果

リサーチクエスチョン

• RQ1 2008年のRAEや2014年のREFのような国家研究評価プロセスは、学術研究にどのような予期しない否定的影響をもたらすのか？
• RQ2 2008年のRAEと2014年のREFのルールは、大学が戦略的ゲームをどのように奨励しているのか？
• RQ3 現在の研究評価フレームワークは、学術システム内の既存のパワーバランスをどのように再現しているのか？
• RQ4 評価指標が研究の真の質やインパクトをどの程度歪めているのか？
• RQ5 研究評価の正当性を保ちつつ、有害な副作用を最小限に抑えるための構造的改革は何か？

主な発見

• 2008年のRAEと2014年のREFは、大学が提出リストを操作したり、真の学術的貢献よりも高インパクトの出版物を優先したりする戦略的行動を強く奨励した。
• 評価フレームワークは、出力数を誇張し、特定の専門分野や出版タイプを他のものよりも優遇することで、システムを「ゲーム」するのを奨励した。
• 研究の質が損なわれ、機関が長期的でリスクの高い、あるいは多分野にまたがる研究よりも、指標に基づく出力に注力するようになった。
• 評価プロセスは学術界における既存のパワーハイエラルキーを強化し、資金が豊富な機関を優遇し、規模が小さかったり、伝統的でない部門を marginalized にした。
• 評価プロセスのルールは、学術的誠実性や学術的優位性よりも、機関の自己宣伝を暗黙的に奨励する形で設計されていた。
• 著者らは、現在のモデルが、欠陥のある評価設計のため、価値ある研究（「お風呂の水」）を、問題のある慣行（「お風呂」）とともに捨て去るリスクがあると結論づける。