[論文レビュー] Metrics and Mechanisms: Measuring the Unmeasurable in the Science of Science

Lingfei Wu, Aniket Kittur+5 more|arXiv (Cornell University)|Nov 14, 2021

scientometrics and bibliometrics research被引用数 5

ひとこと要約

本論文は、科学的メトリクスとその裏側のメカニズムを結びつけるフレームワークを提案する。科学を『ホット／コールド』、『速い／遅い』、『ソフト／ハード』という4つの二元的軸に沿って分類することで、科学的生産性、注目度のシフト、再現性における隠れた構造を明らかにする。本論文は、表面的なデータ収集を超えて、意味のあるメトリクス開発に不可欠である、これらのメカニズムを理解することが重要であると主張する。

ABSTRACT

What science does, what science could do, and how to make science work? If we want to know the answers to these questions, we need to be able to uncover the mechanisms of science, going beyond metrics that are easily collectible and quantifiable. In this perspective piece, we link metrics to mechanisms by demonstrating how emerging metrics of science not only offer complementaries to existing ones, but also shed light on the hidden structure and mechanisms of science. Based on fundamental properties of science, we classify existing theories and findings into: hot and cold science referring to attention shift between scientific fields, fast and slow science reflecting productivity of scientists and teams, soft and hard science revealing reproducibility of scientific research. We suggest that interest about mechanisms of science since Derek J. de Solla Price, Robert K. Merton, Eugene Garfield, and many others complement the zeitgeist in pursuing new, complex metrics without understanding the underlying processes. We propose that understanding and modeling the mechanisms of science condition effective development and application of metrics.

研究の動機と目的

• 科学的活動を駆動する背後メカニズムを理解せずに、科学分野における数量的メトリクスへの依存が増大する問題に対処すること。
• ホット対コールド科学（分野間の注目度のシフト）、速い対遅い科学（研究者の生産性）、ソフト対ハード科学（研究の再現性）という4つの二元的次元を用いて、科学の基本的メカニズムを特定・分類すること。
• メトリクスそのものだけでは科学の改善に不十分であり、意味のあるメトリクス開発には、メカニズムの理解が不可欠であると主張すること。
• 科学的リサーチとイノベーションを形作る背後プロセスと関連づける概念的フレームワークを提供すること。
• 科学の科学（science of science）という分野は、単なるデータ収集から脱却し、科学そのもののメカニズムをモデル化・理解する方向へ進化させる必要があると位置づけること。

提案手法

• 科学的現象を『ホット／コールド』（分野間の注目度のシフト）、『速い／遅い』（研究者／チームの生産性）、『ソフト／ハード』（研究の再現性）という4つの二元的軸に沿って分類する。
• プライス、マーティン、ガーフィールドの既存理論的基盤を活用し、この分類を長年にわたり発展した社会学的・文献情報学的伝統に根ざしたものとする。
• 注目度ダイナミクス、キャシオン拡散、再現性指標といった新たなメトリクスを統合し、背後メカニズムを反映する包括的フレームワークを構築する。
• メトリクスは単独で開発されるべきではなく、科学的行動とシステム的プロセスのモデルに基づいて設計されなければならないと提言する。
• 科学の科学という分野は、メトリクスのイノベーションとメカニズムモデリングの両方を必要とし、科学がいかに機能するかを意味のある洞察へと導く。

実験結果

リサーチクエスチョン

• RQ1 容易に測定可能なメトリクスを超えて、科学的進歩を駆動する隠れたメカニズムを明らかにするにはどうすればよいか？
• RQ2 科学的活動を構造づける基本的二元的対比とは何か？ それらはいかに深層的なシステム的ダイナミクスを反映しているか？
• RQ3 注目度のシフト（ホット対コールド科学）は、科学的リサーチの進行と影響力にどのように影響を与えるか？
• RQ4 生産性のパターン（速い対遅い科学）は、個人およびチームの科学的生産にどのような違いを示しているか？
• RQ5 ソフト対ハード科学の区別は、再現性および科学的頑健性とどの程度相関しているか？

主な発見

• ホット／コールド、速い／遅い、ソフト／ハードという次元に沿った科学の分類は、科学的活動の背後にある明確に分析可能なメカニズムを明らかにする。
• 注目度のシフトを追跡するメトリクス（例：キャシオンの急増、トピックの人気）は、ホット／コールド科学軸と関連づけられ、分野間の動的移行を反映する。
• 出版頻度とチームダイナミクスによって測定される生産性のパターンは、速い／遅い科学の区別を裏付けるものであり、研究出力の速度の違いを強調する。
• 再現性の傾向は、ソフト／ハード科学軸と一致し、実験の標準化が進んでいる分野ではより強い再現結果が得られる傾向にある。
• メトリクスとメカニズムモデルの統合は、メトリクス単体が提供できる洞察をはるかに超えて、科学的システムの深層的洞察を可能にする。
• 意味のあるメトリクス設計には、メカニズムの理解が不可欠であり、単にデータが多くても意味のあるものではない。