[논문 리뷰] Phases of methodological research in biostatistics - building the evidence base for new methods

Georg Heinze, Anne‐Laure Boulesteix외 3명|arXiv (Cornell University)|2022. 09. 27.

Statistical Methods in Clinical Trials인용 수 8

한 줄 요약

이 논문은 생물통계학 분야의 방법론적 연구를 강화하기 위해 임상 시험 단계를 모방한 네 단계 프레임워크를 제안한다. 이는 새로운 통계적 방법에 대한 증거 기반을 강화하기 위한 것으로, 논리적 증명, 좁은 범위의 실증적 검증, 다양한 설정에서의 광범위한 적용, 그리고 비교 평가를 통해 방법론적 선호도를 결정한다. 현재는 이 모든 단계를 통과한 방법이 소수에 불과하여, 향후 연구에서 단계 III와 IV에 더 많은 중점을 두어야 할 필요가 있다.

ABSTRACT

Although the biostatistical scientific literature publishes new methods at a very high rate, many of these developments are not trustworthy enough to be adopted by the scientific community. We propose a framework to think about how a piece of methodological work contributes to the evidence base for a method. Similarly to the well-known phases of clinical research in drug development, we define four phases of methodological research. These four phases cover (I) providing logical reasoning and proofs, (II) providing empirical evidence, first in a narrow target setting, then (III) in an extended range of settings and for various outcomes, accompanied by appropriate application examples, and (IV) investigations that establish a method as sufficiently well-understood to know when it is preferred over others and when it is not. We provide basic definitions of the four phases but acknowledge that more work is needed to facilitate unambiguous classification of studies into phases. Methodological developments that have undergone all four proposed phases are still rare, but we give two examples with references. Our concept rebalances the emphasis to studies in phase III and IV, i.e., carefully planned methods comparison studies and studies that explore the empirical properties of existing methods in a wider range of problems.

연구 동기 및 목표

• 생물통계학에서 새로 개발된 통계적 방법에 대한 신뢰할 수 있는 증거 부족 문제를 해결하기 위해.
• 임상 시험 단계를 모방한 체계적이고 단계적인 방법론 연구 접근 방식을 수립하기 위해.
• 다양한 설정에서의 방법의 종합적 평가와 기존 대안과의 비교에 초점을 옮기기 위해.
• 실제 적용에 적합하고 철저히 검증된 방법론적 발전을 촉진하기 위해.
• 과학 공동체가 방법 평가를 위해 단계 III 및 IV 연구를 우선시하도록 유도하기 위해.

제안 방법

• 프레임워크는 네 단계로 정의된다: (I) 논리적 추론과 수학적 증명, (II) 좁은 목표 설정에서의 실증적 평가, (III) 다양한 설정과 결과 유형에 대한 확장된 평가 및 적용 사례 포함, (IV) 방법론적 선호도를 결정하기 위한 비교 분석.
• 단계 I은 공식적인 유도와 증명을 통해 이론적 타당성을 확보한다.
• 단계 II는 특정하고 잘 정의된 맥락에서 시뮬레이션 연구를 통해 초기 성능을 평가한다.
• 단계 III는 다양한 시나리오, 표본 크기, 결과 유형을 포함해 시뮬레이션을 확장하여 강건성 테스트를 수행한다.
• 단계 IV는 다양한 조건에서 새로운 방법과 기존 방법을 비교하여 언제 어떤 경우에 선호되는지를 평가한다.
• 이 프레임워크는 체계적이고 투명하며 누적적인 방법론적 개발을 촉진한다.

실험 결과

연구 질문

• RQ1 생물통계학 분야의 방법론적 연구는 어떻게 체계적으로 구성되어 강력한 증거 기반을 구축할 수 있는가?
• RQ2 신뢰할 수 있는 통계적 방법과 충분한 검증이 부족한 방법을 구분하는 기준은 무엇인가?
• RQ3 방법론적 발전은 이론적 제안에서 광범위하게 채택되는 도구로 어떻게 진전될 수 있는가?
• RQ4 비교 연구는 방법론적 선호도를 결정하는 데 어떤 역할을 하는가?
• RQ5 왜 현재는 방법론적 발전 중 거의 일부만 신뢰할 수 있는 도구로 간주되는가?

주요 결과

• 제안된 네 단계 프레임워크는 새로운 통계적 방법의 신뢰성과 신뢰성을 높이는 체계적인 경로를 제공한다.
• 단계 I은 논리적 추론과 수학적 증명을 통해 이론적 엄밀성을 보장한다.
• 단계 II는 시뮬레이션 연구를 통해 좁고 잘 정의된 맥락에서 초기 실증 성능을 확립한다.
• 단계 III는 다양한 설정, 표본 크기, 결과 유형으로의 실증 평가를 확장하며, 실질적 적용 사례와 함께 제공된다.
• 단계 IV는 다양한 맥락에서 새로운 방법과 기존 대안을 비교함으로써 방법론적 선호도에 대한 정보 기반 결론을 도출할 수 있다.
• 현재까지 모든 네 단계를 통과한 방법론적 발전은 소수에 불과하여, 방법론적 연구에서 단계 III와 IV에 더 큰 중시가 필요하다는 점을 시사한다.