[논문 리뷰] Reflexive Metrics: Reactivity and Practices of the Evaluation Culture in Astronomy

Julia Heuritsch|arXiv (Cornell University)|2021. 12. 16.

scientometrics and bibliometrics research인용 수 6

한 줄 요약

이 논문은 천문학에서 평가 지표가 '평가 격차'를 만들어내는 방식을 분석하기 위해 합리적 선택 이론 프레임워크를 적용한다. 여기서는 성과 지표를 충족시키기 위한 기관적 압박이 내재된 과학적 가치와 충돌하는 상황을 다룬다. 연구는 천문학자들이 성과 지표에 부합하기 위해 '게이밍' 전략(예: 살라미 슬라이싱, 쉽게 출판 가능한 논문 우선)을 펼치며, 이는 합리적 자기 이익을 추구함에도 불구하고 연구 품질을 해칠 수 있음을 드러낸다.

ABSTRACT

Diese Dissertation aus der Sparte der Reflexiven Bibliometrie erforscht die Rückwirkungen der Verwendung von quantitativen Indikatoren in der Wissenschaftsevaluation auf die Wissensproduktion und Forschungsqualität in der Astronomie. Eine qualitative Analyse der strukturellen Bedingungen der akamdeischen Astronomie anhand des Rational Choice Frameworks führen zur Beobachtung eines "Evaluation Gap" zwischen dem, was Indikatoren messen und dem, was Forscher unter Forschungsqualität verstehen. Die Analyse offenbart weiters einen Balanceakt, in dem Astronomen zwischen Publikationsdruck und Forschungsintegrität Kompromisse finden. Weiterführende quantitative Untersuchungen unter Einbezug von Organisational Culture Theories und Self-Determination Theory zeigen, dass kontrollierte Formen von Motivation zu einem erhöhten Publikationsdruck und wissenschaftlichem Fehlverhalten führen, während autonome Formen von Motivation das Gegenteil bewirken. Schließlich skizziert die Arbeit Wege zur Transformation der Forschungskultur hin zu mehr Vielfalt und Partizipation, einschließlich der Einführung offener Wissensmanagement-Infrastrukturen und kontinuierlicher, reflexiver Evaluationsprozesse.

연구 동기 및 목표

• 천문학에서 내재된 과학적 가치와 외재된 평가 지표 사이의 갈등을 조사하기 위해.
• 기관 규범과 자본 형태(자금, 논문 발표 속도, 천체망원경 사용 시간)가 연구 행동에 어떻게 영향을 미치는지 검토하기 위해.
• 관측 천문학에서의 '평가 격차'의 메커니즘을 이해하기 위해.
• 천문학자들이 합리적이고 전략적인 행동을 통해 경쟁하는 동기를 어떻게 극복하는지 탐구하기 위해.

제안 방법

• 평가 시스템에 대한 천문학자들의 전략적 행동을 해석하기 위해 합리적 선택 이론 프레임워크를 적용하였다.
• 국제적 관측 천문학자 19명과 반구조화된 인터뷰를 실시하였다.
• 연구 평가의 맥락에서 기관 규범, 물질적 자원, 자본 형태(경제적, 문화적, 사회적, 상징적)를 분석하였다.
• 연구자들이 내재된 동기와 성과 요구 사이에서 균형을 이루는 방식에 대한 패턴을 식별하기 위해 질적 주제 분석을 사용하였다.
• 기관적 및 문화적 분석을 통해 천문학의 도덕 경제를 재구성하였다.
• 결과를 통합하여 지표 사용이 연구 품질을 악화시키는 인과 이론을 설명하였다.

실험 결과

연구 질문

• RQ1 천문학자들은 과학적 탐구를 위한 내재된 동기와 측정 가능한 결과를 내야 하는 외재적 압박 사이에서 어떻게 균형을 잡는가?
• RQ2 연구 품질과 문헌지표 성과 사이의 관계를 매개하는 기관 규범과 자본 형태는 무엇인가?
• RQ3 평가 시스템에 대해 연구자들이 연구 품질을 해칠 수 있는 방식으로 전략적으로 대응하는 방법은 무엇인가?
• RQ4 성과 지표는 관측 천문학에서 연구 관행을 어떻게 왜곡하는가?
• RQ5 출판 수량을 질량보다 우선시하는 데로 이어지는 구조적 조건는 무엇인가?

주요 결과

• 천문학자들은 지식을 발전시키고자 하는 내재된 동기와 성과 지표를 충족시켜야 하는 외재적 요구 사이에서 이질감을 경험한다.
• 연구자들은 '게이밍' 전략(예: 살라미 슬라이싱, 쉽게 달성 가능한 성과 우선)을 활용하여 평가 지표에 부합하는 것처럼 보이기 위해 노력한다.
• 평가 체계는 연구 품질보다는 출판 수량을 유도하여 과학적 엄밀성의 체계적 저하를 초래한다.
• 기관 규범과 자본 접근성(예: 천체망원경 사용 시간, 자금)은 특정 기관과 개인을 특혜로 보호하여 불평등을 심화시킨다.
• 현재 체계는 자원 배분의 권력 불균형과 정치적 결정을 가리키는 '무지의 엄정한 경쟁'으로 작용한다.
• 천문학의 도덕 경제는 경쟁 가치들 사이의 합의된 타협에 의해 형성되며, 성과 지표는 중심적이지만 왜곡된 역할을 한다.