[논문 리뷰] The footprint of a metrics-based research evaluation system on Spanish philosophical scholarship: an analysis of researchers perceptions

Ramón A. Feenstra, Emilio Delgado López‐Cózar|arXiv (Cornell University)|2021. 03. 22.

Innovative Teaching Methodologies in Social Sciences인용 수 4

한 줄 요약

이 연구는 스페인의 지표 기반 연구 평가 제도가 철학자들에게 미치는 영향을 설문조사(n=201)와 심층 인터뷰(n=14)를 통해 조사한다. 연구 결과, 저널의 영향력 지수와 영문 논문 중심의 출판에 대한 집중, 연구 주제의 변화, 교육의 가치 하락, 부정행위 증가, 정신 건강 악화 등 연구 실천 방식의 광범위한 왜곡이 발생하고 있음을 확인했으며, 동시에 투명성 향상과 생산성 증가 등 일부 긍정적 영향도 관찰된다.

ABSTRACT

The use of bibliometric indicators in research evaluation has a series of complex impacts on academic inquiry. These systems have gradually spread into a wide range of locations and disciplines, including the humanities. The aim of the present study is to examine their effects as perceived by philosophy researchers in Spain, a country where bibliometric indicators have long been used to evaluate research. The study combines data from a self-administered questionnaire completed by 201 researchers and from 14 in-depth interviews with researchers selected according to their affiliation, professional category, gender and area of knowledge. Results show that the evaluation system is widely perceived to affect research behaviour in significant ways, particularly related to publication practices (document type and publication language), the transformation of research agendas and the neglect of teaching work, as well as increasing research misconduct and negatively affecting mental health. Although to a lesser extent, other consequences included increased research productivity and enhanced transparency and impartiality in academic selection processes.

연구 동기 및 목표

• 스페인의 오랜 기간 지속된 지표 기반 연구 평가 제도가 철학자들의 연구 실천 방식에 어떤 영향을 미치는지 이해하는 것.
• 지표 기반 평가가 출판 행동, 연구 주제 설정, 학술적 삶의 균형에 미치는 인식된 영향을 탐구하는 것.
• 인문학 분야 연구자들에게 평가 체계가 교육 인식, 연구 부정행위, 정신 건강에 어떤 영향을 미치는지 평가하는 것.
• 지표 기반 평가의 双방향 영향을 분석하는 것—부정적인 왜곡과 동시에 투명성 향상 및 생산성 증가 등의 잠재적 이점

제안 방법

• 스페인 전역의 철학자 201명을 대상으로 기관, 직위, 성별, 전공 분야별로 분层된 온라인 자가 작성 설문조사 실시.
• 기관 소속, 성별, 학술 직위, 연구 분야에서 다양성을 확보하기 위해 선별한 14명의 심층적·반구조적 인터뷰 수행.
• qualitative 및 quantitative 자료를 융합하여 지표 기반 평가가 연구 행동과 기관 실천 방식에 미치는 영향을 분석.
• 연구자들의 인터뷰 내용에서 반복되는 패턴을 식별하기 위해 주제 분석을 활용.
• 핵심 차원별 응답을 매핑: 출판 언어 및 문서 유형, 연구 주제의 변화, 교육 활동의 인식 수준, 정신 건강 영향.
• 지표 기반 평가의 부정적 및 긍정적 결과를 평가하며, 선발 과정의 공정성 향상 및 연구 생산성 증가 등 인식된 개선 사항 포함

실험 결과

연구 질문

• RQ1 스페인 철학자들은 지표 기반 평가 제도가 자신의 출판 전략에 어떤 영향을 미친다고 인식하고 있는가?
• RQ2 지표 기반 평가 제도는 스페인 철학과 부서의 연구 주제와 우선순위에 어떤 방식으로 영향을 미쳤는가?
• RQ3 현재 평가 체계 하에서 교육 업무와 기여가 얼마나 가치가 낮게 평가되고 있는가?
• RQ4 지표 기반 평가가 철학자들 사이에서 연구 부정행위와 정신 건강에 어떤 인식된 영향을 미치는가?
• RQ5 지표 기반 제도에서 투명성 향상이나 연구 생산성 증가 등의 긍정적 측면이 인식되고 있는가?

주요 결과

• 설문 조사한 연구자 다수는 지표 기반 평가 제도가 출판 장소 선택에 상당한 영향을 미쳤다고 보고하며, 전문 분야나 비영어 논문 출판보다는 영향력 높은 영문 저널을 우선시한다고 밝혔다.
• 연구자들은 높은 인용 수를 기대할 수 있는 주제로 연구 주제가 이동하고 있으며, 이는 전통적 또는 장기적인 철학적 탐구에 비해 손해를 보이고 있음을 인식하고 있다.
• 교육 및 교육적 활동은 승진 및 자금 지원 결정에서 널리 가치가 낮게 평가되고 인정받지 못해 전문적 불만족감을 유발하고 있다.
• 다수의 연구자들이 평가 압박으로 인해 부정행위가 증가했다고 보고하며, 특히 인용 조작과 전략적 자기인용이 포함된다.
• 정신 건강은 부정적인 영향을 받았으며, 많은 연구자들이 성과 중심 평가 문화와 관련된 스트레스, 불안, 과로를 경험하고 있다고 밝혔다.
• 부정적 영향에도 불구하고 일부 연구자들은 선발 및 승진 과정의 투명성과 공정성 향상, 연구 생산성의 명백한 증가 등 긍정적 측면을 인정하고 있다.