[論文レビュー] Phases of methodological research in biostatistics - building the evidence base for new methods

Georg Heinze, Anne‐Laure Boulesteix+3 more|arXiv (Cornell University)|Sep 27, 2022

Statistical Methods in Clinical Trials被引用数 8

ひとこと要約

この論文は、臨床試験の段階に類似した四段階のフレームワークを提示し、新しい統計的手法の証拠基盤を強化するための疫学的統計学における方法論的研究のためのものである。論文は、論理的証明、限定的範囲の実証的検証、さまざまな設定への広範な応用、および比較的評価を通じて、理論的整合性を確保し、方法論的好みを決定する。現在、そのような手法のうち、すべての段階を満たした成熟度に達したものはほんのわずかである。

ABSTRACT

Although the biostatistical scientific literature publishes new methods at a very high rate, many of these developments are not trustworthy enough to be adopted by the scientific community. We propose a framework to think about how a piece of methodological work contributes to the evidence base for a method. Similarly to the well-known phases of clinical research in drug development, we define four phases of methodological research. These four phases cover (I) providing logical reasoning and proofs, (II) providing empirical evidence, first in a narrow target setting, then (III) in an extended range of settings and for various outcomes, accompanied by appropriate application examples, and (IV) investigations that establish a method as sufficiently well-understood to know when it is preferred over others and when it is not. We provide basic definitions of the four phases but acknowledge that more work is needed to facilitate unambiguous classification of studies into phases. Methodological developments that have undergone all four proposed phases are still rare, but we give two examples with references. Our concept rebalances the emphasis to studies in phase III and IV, i.e., carefully planned methods comparison studies and studies that explore the empirical properties of existing methods in a wider range of problems.

研究の動機と目的

• 疫学的統計学における新規に開発された統計的手法を支持する信頼できる証拠の不足に対処すること。
• 臨床試験の段階に類似した構造的で段階的な方法論的研究のアプローチを確立すること。
• 多様な設定や既存の代替手法との比較を通じて、手法の包括的評価に焦点を移すこと。
• 実世界への応用に適した、しっかり検証された方法論的発展を促進すること。
• 科学コミュニティが、手法評価のための段階IIIおよび段階IVを優先することを促すこと。

提案手法

• フレームワークは四段階を定義する：(I)論理的推論と数学的証明、(II)限定的対象設定における実証的評価、(III)複数の設定とアウトカムにおける拡張的評価と応用例、(IV)方法論的好みを決定するための比較的分析。
• 段階Iでは、形式的導出と証明を通じて理論的整合性を確保する。
• 段階IIでは、特定で明確に定義された文脈におけるシミュレーション研究を通じて初期性能を評価する。
• 段階IIIでは、多様なシナリオ、標本サイズ、アウトカムタイプにわたるシミュレーションを拡大し、耐性をテストする。
• 段階IVでは、さまざまな条件下で新しい手法と既存手法を比較する研究を実施し、どの状況でそれが好まれるかを特定する。
• このフレームワークは、体系的で透明性が高く、蓄積的な方法論的開発を促進する。

実験結果

リサーチクエスチョン

• RQ1 疫学的統計学における方法論的研究を、より強い証拠基盤を築けるようにどのように構造化できるか？
• RQ2 信頼できる統計的手法と、十分な検証が不足している手法を区別する基準は何であるか？
• RQ3 方法論的発展は、理論的提案から広く採用されるツールへとどのように進化できるか？
• RQ4 比較的評価は、方法論的好みを決定する上で果たす役割は何か？
• RQ5 なぜ現在、方法論的発展の多くが導入に耐える信頼性があると見なされないのか？

主な発見

• 提示された四段階フレームワークは、新規統計的手法の信頼性と信頼性を高めるための構造的道筋を提供する。
• 段階Iでは、論理的推論と数学的証明を通じて理論的厳密性が確保される。
• 段階IIでは、シミュレーション研究を用いて、限定的で明確に定義された設定における初期実証的性能が確立される。
• 段階IIIでは、多様な設定、標本サイズ、アウトカムタイプにわたる実証的評価が拡張され、実際の応用例が付随する。
• 段階IVでは、さまざまな文脈で新しい手法と既存の代替手法を比較することで、方法論的好みについての情報に基づいた意思決定が可能になる。
• 現在、すべての四段階を経験した方法論的発展はほんのわずかであり、方法論的研究において段階IIIおよび段階IVにさらなる注目を向ける必要があることが浮き彫りになっている。