[논문 리뷰] How journal rankings can suppress interdisciplinarity. The case of innovation studies in business and management

Ismael Ràfols, Loet Leydesdorff외 3명|arXiv (Cornell University)|2011. 05. 06.

scientometrics and bibliometrics research인용 수 16

한 줄 요약

이 연구는 인용 및 출판 데이터를 사용하여 저널 순위가 독과다학문적 연구를 체계적으로 불리하게 하며, 더 좁은 학문적 범위를 가진 저널을 우선시함으로써 다학문적 혁신연구 부서에 불리하게 작용함을 입증한다. 핵심 발견은 경영학과 경영학부가 더 높은 품질 때문이 아니라, 다학문적 연구를 과소평가하는 저널 순위의 구조적 편향으로 인해 유리한 성과 평가를 받는다는 것이다.

ABSTRACT

This study provides quantitative evidence on how the use of journal rankings can disadvantage interdisciplinary research in research evaluations. Using publication and citation data, it compares the degree of interdisciplinarity and the research performance of a number of Innovation Studies units with that of leading Business & Management schools in the UK. On the basis of various mappings and metrics, this study shows that: (i) Innovation Studies units are consistently more interdisciplinary in their research than Business & Management schools; (ii) the top journals in the Association of Business Schools' rankings span a less diverse set of disciplines than lower-ranked journals; (iii) this results in a more favourable assessment of the performance of Business & Management schools, which are more disciplinary-focused. This citation-based analysis challenges the journal ranking-based assessment. In short, the investigation illustrates how ostensibly 'excellence-based' journal rankings exhibit a systematic bias in favour of mono-disciplinary research. The paper concludes with a discussion of implications of these phenomena, in particular how the bias is likely to affect negatively the evaluation and associated financial resourcing of interdisciplinary research organisations, and may result in researchers becoming more compliant with disciplinary authority over time.

연구 동기 및 목표

• 저널 순위가 학술 성과 평가에서 다학문적 연구에 어떤 영향을 미치는지 조사하기 위해.
• 영국의 혁신연구 부서와 경영학부 간의 다학문성 및 연구 성과를 비교하기 위해.
• 연구 평가에서 사용되는 저널 순위 체계가 다학문적 연구보다 독과다학문적 연구를 체계적으로 선호하는지 평가하기 위해.
• 이러한 편향이 자금 배분 및 학문적 규범 준수에 미치는 영향을 분석하기 위해.

제안 방법

• 영국 소재 혁신연구 및 경영학부 연구 단위의 출판 및 인용 데이터에 대한 정량적 분석을 수행함.
• 다양한 학문 집단 간 연구 성과를 평가하기 위해 인용 기반 지표를 사용함.
• 연구 단위가 인용한 저널을 활용하여 저널의 학문적 다양성을 매핑함으로써 학문적 참여의 폭을 평가함.
• 저널 순위(예: 비즈니스 스쿨 협회)와 실제 저널의 학문적 다양성 간 비교를 통해 편향을 규명함.
• 혁신연구와 경영학부 단위 간 다학문성 수준을 비교하기 위해 지표를 적용함.
• 순위 체계가 연구 범위 및 협업 패턴의 차이에도 불구하고 성과 평가 결과에 어떤 영향을 미치는지 분석함.

실험 결과

연구 질문

• RQ1 영국의 혁신연구 부서는 경영학부보다 얼마나 더 다학문적인가?
• RQ2 비즈니스 스쿨 협회의 순위에서 상위 랭킹 저널의 학문적 다양성은 하위 랭king 저널보다 어떻게 다른가?
• RQ3 저널 순위가 다학문적 연구를 위해 성과 평가를 얼마나 왜곡하는가?
• RQ4 이러한 편향이 다학문적 연구 부서의 자금 확보 및 기관적 위치에 어떤 영향을 미치는가?

주요 결과

• 혁신연구 부서는 경영학부보다 일관되게 더 높은 수준의 다학문성을 보여줌.
• 비즈니스 스쿨 협회의 순위에서 상위 랭king 저널은 하위 랭king 저널보다 학문적 다양성이 낮음.
• 인용 기반 성과 평가에서 경영학부는 저널 순위의 구조적 편향으로 인해 더 유리한 평가를 받음.
• 저널 순위는 학문적 범위가 좁은 저널을 우선시함으로써 독과다학문적 연구를 체계적으로 선호함.
• 저널 순위의 편향은 학문 중심 연구에 유리한 조건을 제공하며, 성과 평가를 왜곡함.
• 이 체계적 편향은 다학문적 연구를 저해할 수 있으며, 연구자들이 자금과 인정을 확보하기 위해 학문적 규범에 순응하도록 압박할 수 있음.