[논문 리뷰] What to make of non-inferiority and equivalence testing with a post-specified margin?

Harlan Campbell, Paul Gustafson|arXiv (Cornell University)|2018. 07. 09.

Statistical Methods in Clinical Trials참고 문헌 45인용 수 8

한 줄 요약

이 논문은 데이터 수집 이후에 등가성 한계를 정의하는(post-specified) 등가성 검정의 타당성과 위험성을 검토하며, 이러한 관행이 편향을 유발하고 통계적 추론을 약화시킬 수 있음을 주장한다. 연구자들이 사전에 한계를 정의하거나 데이터와 무관한 방식으로 한계를 설정할 것을 권장하며, 해석 가능한 단위가 없는 경우 표준화된 효과 크기 기반 한계를 기본 옵션으로 삼고, 투명성과 동료 검토를 통해 심리학 및 임상 연구의 신뢰성을 확보할 것을 강조한다.

ABSTRACT

In order to determine whether or not an effect is absent based on a statistical test, the recommended frequentist tool is the equivalence test. Typically, it is expected that an appropriate equivalence margin has been specified before any data are observed. Unfortunately, this can be a difficult task. If the margin is too small, then the test's power will be substantially reduced. If the margin is too large, any claims of equivalence will be meaningless. Moreover, it remains unclear how defining the margin afterwards will bias one's results. In this short article, we consider a series of hypothetical scenarios in which the margin is defined post-hoc or is otherwise considered controversial. We also review a number of relevant, potentially problematic actual studies from clinical trials research, with the aim of motivating a critical discussion as to what is acceptable and desirable in the reporting and interpretation of equivalence tests.

연구 동기 및 목표

• 등가성 검정에서 데이터를 관찰한 후에 등가성 한계를 정하는 것의 통계적 및 해석적 위험을 조사하기.
• 임상적 또는 실용적으로 의미 있는 등가성 한계를 사전에 정하는 데 있어 공감대 부족과 실천적 어려움을 다루기.
• 심리학 및 임상 연구에서 등가성 검정의 신뢰성과 객관성을 향상시키기 위한 해법을 제안하기.
• 등가성 한계와 관측된 데이터 사이의 독립성을 강조하여 제1종 오류 통제를 유지하기.
• 특히 사후적 경우에 대해 저널 심사자나 규제 기관과 같은 제3자 기관이 등가성 한계를 정의하거나 검증하도록 권장하기.

제안 방법

• 등가성 한계를 사후에 정의한 가상의 및 실제 임상 시험 사례를 분석하여 통계적 및 해석적 결과를 평가하기.
• 규제 기관(예: CPMP, FDA)의 기존 지침 및 경고와 통계 문헌에서 데이터 기반 한계 설정의 위험성을 검토하기.
• 해석 가능한 단위가 없는 경우 표준화된 효과 크기(예: Cohen’s d = 0.2)를 기본 등가성 한계로 사용할 것을 제안하여 객관성 향상시키기.
• 사전 정의된 한계가 없는 경우, 등가성 검정의 투명한 대안으로 신뢰구간 보고를 권장하기.
• 저널 편집자나 심사자가 연구 시작 이전에 한계를 평가하는 조건부 등가성 검정(CET) 정책을 프레임워크로 도입하기.
• 연구자가 등가성을 주장할 만한 동기를 가질 수 있는 상황에서 편향 없는 독립적 한계 설정의 필요성을 강조하기.

실험 결과

연구 질문

• RQ1 관측된 데이터 이후에 등가성 한계를 정하는 것은 어떤 통계적 및 해석적 결과를 초래하는가?
• RQ2 사후적 한계 설정은 제1종 오류 비율과 등가성 주장의 타당성에 어떻게 영향을 미치는가?
• RQ3 어떤 상황에서 사후 정의된 한계를 가진 등가성 검정이 여전이 해석 가능하거나 정당화될 수 있는가?
• RQ4 저널 심사자나 규제 기관과 같은 제3자 기관이 등가성 한계를 검증하는 데 어떤 역할을 할 수 있는가?
• RQ5 임상 기준이 사전에 정의되지 않은 상황에서 표준화된 효과 크기가 어떻게 타당한 기본 한계가 될 수 있는가?

주요 결과

• 데이터 수집 이후에 등가성 한계를 정하는 것은 편향된 결과와 과도한 제1종 오류 비율을 초래할 수 있으며, 이는 등가성 검정의 타당성을 약화시킨다.
• 사전에 한계가 정의되어 있더라도 임상적 또는 실용적 관련성이 없으면 부적절할 수 있으므로, 독립적인 정당화가 필요하다는 점을 강조한다.
• 해당 결과의 단위가 본질적으로 해석하기 어려운 경우, 표준화된 효과 크기(예: Cohen’s d = 0.2)를 기본 한계로 사용하면 객관성이 향상된다.
• 귀무가설을 배제하고 넓이가 충분히 좁은 신뢰구간은, 사전 정의된 한계가 없는 경우 등가성 검정의 투명한 대안이 될 수 있다.
• 편집자나 심사자가 연구 시작 이전에 한계를 평가하는 조건부 등가성 검정(CET) 정책은 엄밀함과 신뢰성을 향상시키는 실현 가능한 길을 제공한다.
• 연구자가 긍정적인 결과를 발표할 동기를 가진 경우 사후 한계 설정은 특히 문제를 일으키며, 이에 따라 독립적 한계 정의가 신뢰성 확보에 필수적이다.