[論文レビュー] Bibliometrics-based heuristics: What is their definition and how can they be studied?

Lutz Bornmann, Sven E. Hug|arXiv (Cornell University)|Oct 30, 2018

Experimental Behavioral Economics Studies参考文献 53被引用数 4

ひとこと要約

本論文は、出版回数や引用回数などの部分的な文献情報に基づく、単純で透明性のある意思決定ルールとしての文献情報に基づくヒューリスティクス（BBHs）を導入する。ファスト・アンド・フラジュアル・ヒューリスティクス理論に裏打ちされ、複雑なモデルを必要とせず、研究の質を低コストで的確に評価可能であり、無批判的な引用回数のカウントとは対照的に科学的に根拠のある代替手段を提供する。

ABSTRACT

When scientists study the phenomena they are interested in, they apply sound methods and base their work on theoretical considerations. In contrast, when the fruits of their research is being evaluated, basic scientific standards do not seem to matter. Instead, simplistic bibliometric indicators (i.e., publications and citation counts) are, paradoxically, both widely used and criticized without any methodological and theoretical framework that would serve to ground both use and critique. Yet, Bornmann and Marewski [1] proposed such a framework recently. They developed bibliometrics-based heuristics (BBHs) based on the fast-and-frugal heuristics approach [2] to decision making, in order to conceptually understand and empirically investigate the quantitative evaluation of research as well as to effectively train end-users of bibliometrics (e.g., science managers, scientists). Heuristics are decision strategies that use part of the available information and ignore the rest. By exploiting the statistical structure of task environments, they can aid to make accurate, fast, effortless, and cost-efficient decisions without that trade-offs are incurred. Because of their simplicity, heuristics are easy to understand and communicate, enhancing the transparency of decision processes. In this commentary, we explain several BBHs and discuss how such heuristics can be employed in practice (using the evaluation of applicants for funding programs as one example). Furthermore, we outline why heuristics can perform well, and how they and their fit to task environments can be studied. In pointing to the potential of research on BBHs and to the risks that come with an under-researched, mindless usage of bibliometrics, this commentary contributes to make research evaluation more scientific.

研究の動機と目的

• 出版回数や引用回数といった単純な文献指標の広範な使用における理論的・方法論的根拠の欠如に応えること。
• 研究評価のエンドユーザー（例：科学政策担当者や研究者）が理解しやすく、訓練可能な概念的・実証的枠組みを提示すること。
• 一部の利用可能なデータを無視しても、迅速で正確かつ透明な意思決定を可能にするヒューリスティクスの有効性を示すこと。
• 研究評価における文献指標の使用と批判の両方に科学的根拠を提供すること。
• 文献指標の無構造的・無批判的な適用に伴うリスクを低減するため、BBHsの研究を促進すること。

提案手法

• 認知科学におけるファスト・アンド・フラジュアル・ヒューリスティクス枠組みを採用し、不確実性下での意思決定をモデル化すること。
• BBHsを、他のデータを無視するが、出版数や引用数などの最小限で関連性の高い文献情報のみを用いる意思決定戦略として定義すること。
• 研究評価環境の統計的構造を活用するヒューリスティクスを設計し、意思決定の正確性と効率性を向上させること。
• 資金申請者の評価など、実世界のシナリオにBBHsを適用し、実用的有用性を示すこと。
• 理論的・実証的分析を用いて、BBHsのパフォーマンスと環境適合性を検討すること。
• 透明性と説明のしやすさに重点を置き、研究評価の文脈における信頼性と導入促進を高めること。

実験結果

リサーチクエスチョン

• RQ1 文献指標を硬直的な指標ではなく、ヒューリスティクスとしてどのように概念化できるか？
• RQ2 従来の引用回数カウントと比較して、BBHsは研究評価の正確性と透明性をどのように向上させるか？
• RQ3 BBHsは、異なる評価環境においてどのように体系的に研究・検証できるか？
• RQ4 BBHsが良好に機能する条件は何か。また、それらはタスク環境の統計的構造とどのように整合するか？
• RQ5 科学政策担当者などのエンドユーザーが実務でBBHsを効果的に活用するには、どのように訓練すればよいか？

主な発見

• BBHsは、研究評価における文献指標の恣意的な使用に対する理論的根拠に基づく代替手段を提供する。
• 少数の重要なデータポイントに焦点を当てることで、BBHsは信頼性を損なわず、迅速で正確かつ費用効果の高い意思決定を可能にする。
• BBHsのパフォーマンスは、評価環境の統計的構造との整合性に依存し、その結果、より高い耐性を示す。
• BBHsは透明性が高く、説明がしやすいため、評価プロセスの正当性と信頼性が向上する。
• 実証的研究では、単純さと適応性のおかげで、BBHsが実世界の設定において複雑なモデルを上回る性能を示すことが判明している。
• このフレームワークにより、エンドユーザーの研究評価における訓練が体系的に行えるようになり、文献情報の誤用のリスクが低減される。