[논문 리뷰] Throwing Out the Baby with the Bathwater: The Undesirable Effects of National Research Assessment Exercises on Research

John Mingers, Leroy White|Kent Academic Repository (University of Kent)|2015. 02. 02.

Primary Care and Health Outcomes참고 문헌 87인용 수 8

한 줄 요약

이 논문은 영국의 국가 연구 평가 과정—특히 2008년 RAE와 2014년 REF—를 비판하며, 그 설계가 간접적으로 전략적 게임을 유도하고 학술 윤리와 연구 품질을 해칠 뿐 아니라, 오히려 학술 성취의 진정성에 해를 끼친다고 주장한다. 보르디에의 문화 재생산 이론을 바탕으로, 평가 프레임워크의 체계적 결함을 드러내며, 기관 성과를 학문적 우수성보다 우선시하는 경향을 분석하고, 연구 평가의 정당성을 유지하면서도 해로운 부작용을 제거하기 위한 개혁을 촉구한다.

ABSTRACT

The evaluation of the quality of research at a national level has become increasingly common. The UK has been at the forefront of this trend having undertaken many assessments since 1986, the latest being the Research Excellence Framework in 2014. The argument of this paper is that, whatever the intended results in terms of evaluating and improving research, there have been many, presumably unintended, results that are highly undesirable for research and the university community more generally. We situate our analysis using Bourdieu's theory of cultural reproduction and then focus on the peculiarities of the 2008 RAE and the 2014 REF the rules of which allowed for, and indeed encouraged, significant game-playing on the part of striving universities. We conclude with practical recommendations to maintain the general intention of research assessment without the undesirable side-effects.

연구 동기 및 목표

• 영국의 학술 연구에 대한 국가 연구 평가 과정이 초래하는 뜻하지 않은 부정적 영향을 분석하는 것.
• 2008년 RAE와 2014년 REF의 규정이 대학들이 전략적 행동을 유도하는 방식을 규명하는 것.
• 기관의 인centive와 권력 관계를 통해 평가 프레임워크가 연구 실천 방식을 어떻게 왜곡하는지 분석하는 것.
• 유해한 부작용을 최소화하면서도 연구 평가의 정당성을 유지하는 실질적 개혁 방안을 제안하는 것.
• 보르디에의 문화 재생산 이론을 적용하여 연구 평가에서 학술 불평등의 체계적 재생산을 이해하는 것.

제안 방법

• 피에르 보르디에의 문화 재생산 이론을 기반으로 한 이론적 분석을 통해 연구 평가 체계 내의 권력 관계와 상징적 폭력의 본질을 해석하는 것.
• 2008년 RAE와 2014년 REF를 비교한 사례 연구를 통해 규정 설계와 기관의 반응을 집중 분석하는 것.
• 대학들이 연구 성과와 제출 전략을 조작하도록 이끄는 체계적 인센티브를 특정하는 것.
• 공식 평가 지침과 기관 행동을 비판적으로 분석하여 공식적 목표와 실제 결과 사이의 모순을 드러내는 것.
• 학술 논의와 기관 실천에서의 질적 증거를 활용하여 평가 압박이 연구 품질의 악화로 이어지는 방식을 설명하는 것.
• 연구 결과를 종합하여 국가 연구 평가 프레임워크 개혁을 위한 실행 가능한 권고안을 도출하는 것.

실험 결과

연구 질문

• RQ1 RAE와 REF와 같은 국가 연구 평가 과정이 학술 연구에 끼치는 뜻하지 않은 부정적 영향은 무엇인가?
• RQ2 2008년 RAE와 2014년 REF의 규정이 대학들이 전략적 게임을 유도하는 방식은 무엇인가?
• RQ3 현재의 연구 평가 프레임워크는 학술 시스템 내 기존의 권력 불균형을 어떻게 재생산하는가?
• RQ4 평가 지표가 연구의 진정한 품질과 영향력을 어느 정도 왜곡하는가?
• RQ5 연구 평가의 정당성을 유지하면서 해로운 부작용을 최소화할 수 있는 체계적 개혁은 무엇인가?

주요 결과

• 2008년 RAE와 2014년 REF는 대학들이 제출 목록을 조작하거나 진정한 학문 기여보다는 고임팩트 저널에 우선순위를 두는 등 전략적 행동을 유도하는 강력한 동기를 제공하였다.
• 평가 프레임워크는 기관들이 출력 수를 과장하고 특정 학문 분야나 출판 유형을 우선시함으로써 시스템을 '게임'하도록 유도하였다.
• 연구자가 장기적이고 고위험 또는 다학제적 연구보다는 지표 중심의 성과에 집중함으로써 연구 품질가 손상되었다.
• 평가 과정은 학술계 내 기존의 권력 구조를 강화하여 자원이 풍부한 기관을 우선시하고, 소규모 또는 전통적이지 않은 학과를 간과하는 결과를 낳았다.
• 평가 과정의 규정은 학문적 윤리와 학문적 탁월성보다 기관 자기 홍보를 암묵적으로 장려하는 방식으로 설계되어 있었다.
• 저자들은 현재 모델이 평가 설계의 결함으로 인해 가치 있는 연구—'아기'—를 문제적 관행—'욕조의 물'—과 함께 함께 폐기할 위험성이 있다고 결론 내린다.