[論文レビュー] The replication of equivalence studies

Charlotte Micheloud, Leonhard Held|arXiv (Cornell University)|Apr 14, 2022

Statistical Methods in Clinical Trials被引用数 5

ひとこと要約

本稿では、効果が事前に定義された範囲内にないとする等価性デザインにおける再現研究の分析および設計のための2つの手法——2回試行ルールと懐疑的TOST——を提案する。懐疑的TOST手順は、元の研究や再現研究が有意でなくても成功に寄与できるようにすることで、プロジェクトのパワーを向上させつつ、有意水準α²で厳密な第一種誤り制御を維持する。

ABSTRACT

Replication studies are increasingly conducted to assess the credibility of scientific findings. Most of these replication attempts target studies with a superiority design, but there is a lack of methodology regarding the analysis of replication studies with alternative types of designs, such as equivalence. In order to fill this gap, we propose two approaches, the two-trials rule and the sceptical TOST procedure, adapted from methods used in superiority settings. Both methods have the same overall Type-I error rate, but the sceptical TOST procedure allows replication success even for non-significant original or replication studies. This leads to a larger project power and other differences in relevant operating characteristics. Both methods can be used for sample size calculation of the replication study, based on the results from the original one. The two methods are applied to data from the Reproducibility Project: Cancer Biology.

研究の動機と目的

• 特に元の研究で有意でない結果が得られた場合に、等価性デザインにおける再現研究の分析手法の欠如に対処する。
• 2回試行ルールおよび懐疑的p値といった、既存の優位性ベースの再現手法を、等価性設定に拡張する。
• 元の研究のp値がαを超える場合でも、元の研究の結果に基づいて再現研究のサンプルサイズを計算可能にする。
• 等価性基準下で有意でない結果も再現成功に寄与できるようにすることで、再現性の評価を向上させる。
• 正規性仮定および十分なサンプルサイズ下で、両手法の全体的な第一種誤り率がα²に正確に制御されることを保証する。

提案手法

• 優位性研究における2回試行ルールを等価性デザインに適応し、元の研究および再現研究の両方で片側TOST検定が有意水準αでH₀⁺およびH₀⁻を棄却する必要がある。
• 懐疑的TOST手順を適用し、p値を補正する逆ベイズアプローチを用いて、元の研究や再現研究のp値が有意でなくても再現成功を許容する。
• 制御された懐疑的p値を用いて、真の効果が両研究でゼロの場合に、2回試行ルールと同一の全体的有意水準（α²）を保証する。
• 標準正規分布の分位数および研究固有の精度比を用いて、再現研究のzスコア（z_r⁺）および元の研究のzスコア（z_o⁺）の成功領域を導出する。
• 元の研究の効果推定値、標準誤差、および有意水準を用いて、再現研究のサンプルサイズを計算する。
• p値関数および信頼区間法を用いて等価性を評価し、今後の研究では懐疑的信頼区間の開発を目指す。

実験結果

リサーチクエスチョン

• RQ1 2回試行ルールは、等価性デザインにおける再現研究にどのように適応可能か？
• RQ2 懐疑的TOST手順は、等価性再現設定において2回試行ルールよりもプロジェクトパワーを向上させられるか？
• RQ3 元の研究や再現研究が有意でない場合、等価性基準下での再現成功にどのような影響を与えるか？
• RQ4 元の研究のp値がαを超える場合、再現研究のサンプルサイズはどのように計算可能か？
• RQ5 さまざまな効果サイズ下での懐疑的TOST手順の第一種誤り率およびパワーの特性は何か？

主な発見

• 懐疑的TOST手順は、元の研究や再現研究のTOST p値が有意でない場合でも再現成功を許容できるため、2回試行ルールに比べてプロジェクトパワーが向上する。
• 再現サンプルサイズが十分に大きい場合、両手法とも正確に全体の第一種誤り率をα²に制御する。
• 懐疑的TOST手順の条件付き第一種誤り率は、2回試行ルールの2倍以内にとどまるため、一部の研究者には許容可能とされる。
• 2回試行ルールとは異なり、懐疑的TOST手順は元の研究のp値がαを超える場合でも再現研究のサンプルサイズ計算が可能である。
• 懐疑的TOST手順におけるz_r⁺の成功領域は、元の研究のzスコアおよび研究の精度比を含む非線形変換によって定義される。
• 等価性マージンδの関数としてp_maxおよびp_S_maxの感度分析を推奨する。結果は選択されたδに依存するため。