[論文レビュー] What to make of non-inferiority and equivalence testing with a post-specified margin?

Harlan Campbell, Paul Gustafson|arXiv (Cornell University)|Jul 9, 2018

Statistical Methods in Clinical Trials参考文献 45被引用数 8

ひとこと要約

本論文は、データ収集後に等価性マージンを定義する（後から指定する）等価性検定の妥当性とリスクを検討し、このような実務がバイアスをもたらし統計的推論を損なう可能性があると主張する。研究者による事前定義、またはデータとは独立したマージン選定を提唱し、標準化された効果量マージンをデフォルト選択肢として推奨するとともに、心理的および臨床的研究における信頼性を確保するための透明性と共同レビューの重要性を強調する。

ABSTRACT

In order to determine whether or not an effect is absent based on a statistical test, the recommended frequentist tool is the equivalence test. Typically, it is expected that an appropriate equivalence margin has been specified before any data are observed. Unfortunately, this can be a difficult task. If the margin is too small, then the test's power will be substantially reduced. If the margin is too large, any claims of equivalence will be meaningless. Moreover, it remains unclear how defining the margin afterwards will bias one's results. In this short article, we consider a series of hypothetical scenarios in which the margin is defined post-hoc or is otherwise considered controversial. We also review a number of relevant, potentially problematic actual studies from clinical trials research, with the aim of motivating a critical discussion as to what is acceptable and desirable in the reporting and interpretation of equivalence tests.

研究の動機と目的

• 等価性検定において、観察データの後に等価性マージンを定義する行為が引き起こす統計的および解釈的リスクを調査すること。
• 臨床的または実用的に意味のある等価性マージンを事前に定義することが困難であるという合意の欠如と実務的困難さに対処すること。
• 心理的および臨床的研究における等価性検定の信頼性と客観性を向上させるための解決策を提示すること。
• タイプIエラーの制御を維持するため、マージンと観察データの独立性の重要性を強調すること。
• 特に後から定義されるケースにおいて、ジャーナルのレビューアーや規制当局による独立した監視を推奨し、等価性マージンの定義または検証を促進すること。

提案手法

• 等価性マージンが後から定義された臨床試験の仮想および実世界のシナリオを分析し、その統計的および解釈的結果を評価する。
• 規制当局（例：CPMP、FDA）の既存の指針および警告、およびデータ依存的なマージン指定の危険性に関する統計学的文献をレビューする。
• 単位が解釈不能な場合に、標準化された効果量（例：Cohen’s d = 0.2）をデフォルトの等価性マージンとして使用することを提唱し、客観性を高める。
• マージンが事前に定義されていない場合の透明な代替手段として、信頼区間の報告を推奨する。
• ジャーナル編集者やレビューアーが研究開始前にマージンを評価する「条件付き等価性検定（CET）ポリシー」をフレームワークとして導入する。
• 研究者が等価性を主張するインcentiveがある場合に特に、利益相反を避けるために、独立した偏りのないマージン選定の必要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 観察データの後に等価性マージンを定義することは、どのような統計的および解釈的結果をもたらすか？
• RQ2 後からマージンを指定することは、タイプIエラー率および等価性主張の妥当性にどのように影響するか？
• RQ3 どのような状況下で、後から定義されたマージンを用いた等価性検定は、解釈可能または正当化可能と見なせるか？
• RQ4 ジャーナルレビューアーや規制機関などの独立した監視機関が、等価性マージンの妥当性を検証するために果たせる役割は何か？
• RQ5 臨床的閾値が事前に定義されていない場合、標準化された効果量がどのように信頼できるデフォルトマージンとして機能できるか？

主な発見

• データ収集後に等価性マージンを定義することは、バイアスを生じさせ、タイプIエラー率を上昇させ、等価性検定の妥当性を損なう可能性がある。
• マージンが事前に定義されていなくても、それが臨床的または実用的意味に根拠を持たない場合、依然として不適切であるため、独立した根拠付けの必要性が浮き彫りになる。
• 標準化された効果量（例：Cohen’s d = 0.2）をデフォルトマージンとして使用することで、特に結果の単位が本質的に解釈不能な場合に、客観性が向上する。
• マージンが事前に定義されていない場合、帰無仮説を除外し、かつ十分に狭い信頼区間が得られる場合、信頼区間の報告が等価性検定の透明な代替手段として機能する。
• 研究開始前にマージンを評価する「条件付き等価性検定（CET）ポリシー」は、研究の厳密さと信頼性を高めるための実用的な道筋を提供する。
• 研究者が陽性結果を発表するインcentiveがある場合、後からマージンを定義することは特に問題であり、信頼性を保つために独立したマージン定義が不可欠である。