[論文レビュー] Reflexive Metrics: Reactivity and Practices of the Evaluation Culture in Astronomy

Julia Heuritsch|arXiv (Cornell University)|Dec 16, 2021

scientometrics and bibliometrics research被引用数 6

ひとこと要約

本論文は、評価指標が天文学における「評価格差」を生み出す仕組みを、合理的選択理論に基づいて分析する。研究機関が文献指標を満たす圧力が、科学的内発的価値と対立する状況において、天文学研究者が自身の評価指標に適合するために『ゲーム化』戦略（例：スライス・アンド・スライス、容易な論文の優先）を採用し、結果として研究の質が損なわれるにもかかわらず、合理的自己利益に基づく行動を取っていることが明らかになった。

ABSTRACT

Diese Dissertation aus der Sparte der Reflexiven Bibliometrie erforscht die Rückwirkungen der Verwendung von quantitativen Indikatoren in der Wissenschaftsevaluation auf die Wissensproduktion und Forschungsqualität in der Astronomie. Eine qualitative Analyse der strukturellen Bedingungen der akamdeischen Astronomie anhand des Rational Choice Frameworks führen zur Beobachtung eines "Evaluation Gap" zwischen dem, was Indikatoren messen und dem, was Forscher unter Forschungsqualität verstehen. Die Analyse offenbart weiters einen Balanceakt, in dem Astronomen zwischen Publikationsdruck und Forschungsintegrität Kompromisse finden. Weiterführende quantitative Untersuchungen unter Einbezug von Organisational Culture Theories und Self-Determination Theory zeigen, dass kontrollierte Formen von Motivation zu einem erhöhten Publikationsdruck und wissenschaftlichem Fehlverhalten führen, während autonome Formen von Motivation das Gegenteil bewirken. Schließlich skizziert die Arbeit Wege zur Transformation der Forschungskultur hin zu mehr Vielfalt und Partizipation, einschließlich der Einführung offener Wissensmanagement-Infrastrukturen und kontinuierlicher, reflexiver Evaluationsprozesse.

研究の動機と目的

• 天文学における内発的科学的価値と外発的評価指標の間の緊張を調査すること。
• 研究行動に影響を与える制度的規範および資本形態（資金、論文発表数、望遠鏡時間）を検討すること。
• 観測天文学における「評価格差」の背後にあるメカニズムを理解すること。
• 天文学研究者が合理的で戦略的な行動を通じて、競合する動機をどのように調整しているかを明らかにすること。

提案手法

• 評価システムへの反応としての天文学研究者の戦略的行動を解釈するために、合理的選択理論フレームワークを適用した。
• 国際的な観測天文学研究者19名に対して、半構造化インタビューを実施した。
• 研究評価の文脈において、制度的規範、物的資源、および資本形態（経済的、文化的、社会的、象徴的）を分析した。
• 研究者が内発的動機と成果要求の両者をどのようにバランスさせているかを特定するために、定性的なテーマ分析を用いた。
• 制度的および文化的分析を通じて、天文学の道徳経済学を再構築した。
• 得られた知見を統合し、指標の使用が研究の質を低下させる仕組みを説明する因果理論を構築した。

実験結果

リサーチクエスチョン

• RQ1 天文学研究者は、科学的発見への内発的動機と、測定可能な出力の生産を求める外発的圧力の両者をどのように調和させているか？
• RQ2 研究の質と文献指標のパフォーマンスの関係を媒介する制度的規範と資本形態（資金、論文発表数、望遠鏡時間など）は何か？
• RQ3 研究者が評価システムに戦略的に対応することで、研究の質が損なわれるような行動をとるメカニズムは何か？
• RQ4 成果指標が観測天文学における研究実践をどのように歪めるか？
• RQ5 出版数の重視が研究の質の重視よりも優先されるような構造的条件は何か？

主な発見

• 天文学研究者は、知識の進展への内発的動機と、パフォーマンス指標を満たす外発的要請の両者をバランスさせる中で、アノミーの状態にある。
• 研究者は、スライス・アンド・スライスや、容易な成果の優先といった『ゲーム化』戦略を用いて、評価指標への適合を図っている。
• 評価システムは、研究の質よりも発表数を重視する仕組みとなっており、結果として科学的厳密性の系統的低下を引き起こしている。
• 制度的規範および資本（例：望遠鏡時間、資金）へのアクセスの不均等性が、特定の機関や個人を優遇し、格差を固定化している。
• 現在のシステムは、資源配分における権力の不均衡や政治的意思決定を隠蔽する『単純な功労主義』として機能している。
• 天文学の道徳経済学は、競合する価値間の譲歩合意によって形成されており、パフォーマンス指標が中心的だが歪める役割を果たしている。