[論文レビュー] A model of multiple hypothesis testing

Davide Viviano, Kaspar Wüthrich+1 more|ArXiv.org|Apr 27, 2021

Statistical Methods in Clinical Trials被引用数 10

ひとこと要約

本稿は、複数の仮説検定（MHT）の経済的モデルを構築し、ボンフェローニ補正や誤り発見率補正などの調整が経済的に効率的である状況を特定する。研究コストに規模収益が存在する場合、MHTの調整は内生的に生じ、第1種の誤りを最小限に抑えることと研究の生産を奨励することのトレードオフに依存し、現実の研究コストを踏まえると、標準的手法はしばしばあまりに慎重であることが判明する。

ABSTRACT

Multiple hypothesis testing practices vary widely, without consensus on which are appropriate when. This paper provides an economic foundation for these practices designed to capture leading examples, such as regulatory approval on the basis of clinical trials. MHT adjustments are appropriate in our framework to the extent that research costs are invariant to the number of hypotheses. Control of average size, as for example via a Bonferroni correction, emerges in the limit case where all costs are fixed; in the opposite limit, where costs vary in proportion to the hypothesis count, no correction is needed. We illustrate implications by calculating explicit critical values using data on actual costs in the drug approval process and in program evaluation research; these suggest that some MHT adjustment is warranted in these applications, but not as much as implied by standard practice.

研究の動機と目的

• 複数の仮説検定（MHT）の調整について、純粋に統計的基準を超えて経済的根拠を提供すること。
• 研究者インセンティブと研究生産コストがMHT調整の妥当性に与える影響を分析すること。
• 古典的誤り制御手法（例：家族-wise 有意水準）が最適となる条件を特定すること。
• 実際の研究コストを踏まえた場合、標準的なMHT手順が経済的に効率的であるか、あるいはあまりに慎重であるかを評価すること。
• テスト規範を設定する社会的プランナーと、費用を伴う実験意思決定を行う研究者がどのように相互作用するかをモデル化すること。

提案手法

• 慈善的な社会的プランナーが社会的福祉を最大化するためにMHTルールを設定する科学的コミュニケーションのモデルを形式化する。
• 私的コストと公開的利益を持つ研究生産関数を導入し、研究者が実験を行うかどうかを決定する仕組みをモデル化する。
• 意思決定理論的枠組みを用い、研究者が実験のコストと帰無仮説の棄却による報酬のトレードオフに直面していることをモデル化する。
• 第1種の誤りの確率と研究の生産を奨励するインセンティブの両者をバランスさせるように、最適なMHT調整ルールを導出する。
• 複数の治療法、サブグループ、アウトカムを対象とし、調整が研究コストのスケールに依存することを示す。
• データから研究コストを経験的に推定し、一部の調整は正当化可能であるが、標準的手法はしばしばあまりに慎重であることが示された。

実験結果

リサーチクエスチョン

• RQ1 どのような経済的条件下で複数の仮説検定の調整を適用すべきか？
• RQ2 研究生産における規模収益が、複数検定における最適な誤り制御水準にどのように影響するか？
• RQ3 現実の研究コストを踏まえると、標準的なMHT手順（例：ボンフェローニ）は経済的効率性とどの程度整合するか？
• RQ4 複数のアウトカムに対して、単一のインデックスを使用するのと複数のインデックスに対する調整済み検定を使用するのと、どちらが最適か？
• RQ5 研究者インセンティブとプランナーが設計したテスト規範が、科学的研究の信頼性と生産性にどのように相互作用するか？

主な発見

• MHTの調整は、研究コストに規模収益が存在する場合にのみ経済的に効率的であり、常に必要というわけではない。
• ファミリーワイズ誤り率のような古典的誤り制御手法は、特定のコスト構造下でのみ最適となり、普遍的に成立するわけではない。
• 研究コストに関する経験的データから、一部の調整は正当化可能であるが、ボンフェローニのような標準的手法はしばしばあまりに慎重であることが示された。
• 最適なMHTルールは、偽陽性を最小限に抑えることと、研究者が高コストの実験を行うインセンティブを維持することのバランスに依存する。
• 複数のアウトカムに対しては、目的とする聴衆の異質性に応じて、単一インデックスの使用または複数インデックスに対する調整検定の使用が最適となることがある。
• モデルは、研究者報酬が0および無限大から適切に離れている必要があることを示しており、これはp値の収束速度に制約を加え、特定の調整水準の実現可能性を制限する。