[논문 리뷰] Calculating power by bootstrap, with an application to cluster-randomized trials

Ken Kleinman, Susan S. Huang|arXiv (Cornell University)|2014. 10. 13.

Meta-analysis and systematic reviews참고 문헌 32인용 수 4

한 줄 요약

이 논문은 군집 랜덤화 시험에서 통계적 검정력 계산을 위해 부트스트랩 리샘플링을 사용하는 것을 제안하며, 실제 데이터 분석 방식을 그대로 반영함으로써 분석적 또는 시뮬레이션 기반 방법보다 더 정확한 대안을 제공한다. 기준 기간이 있는 시간-이벤트 결과에 대해 이 방법을 적용하여, 외부 매개변수 추정치가 필요로 하지 않으면서도 복잡한 설계를 효과적으로 다룰 수 있음을 보여준다.

ABSTRACT

Background A key requirement for a useful power calculation is that the calculation mimic the data analysis that will be performed on the actual data, once it is observed. Close approximations may be difficult to achieve using analytic solutions, however, and thus Monte Carlo approaches, including both simulation and bootstrap resampling, are often attractive. One setting in which this is particularly true is cluster-randomized trial designs. However, Monte Carlo approaches are useful in many additional settings as well. Calculating power for cluster-randomized trials using analytic or simulation-based methods is frequently unsatisfactory due to the complexity of the data analysis methods to be employed and to the sparseness of data to inform the choice of important parameters in these methods. Methods We propose that among Monte Carlo methods, bootstrap approaches are most likely to generate data similar to the observed data. Means of implementation are described. Results We demonstrate bootstrap power calculation for a cluster-randomized trial with a survival outcome and a baseline observation period. Conclusions Bootstrap power calculation, a natural application of resampling methods, provides a relatively simple solution to power calculation that is likely to be the most accurate option. It has several important strengths. Notably, it is simple to achieve fidelity to the proposed data analysis method and there is no requirement for estimates from outside settings. We are not aware of bootstrap power calculation being previously proposed or explored for cluster-randomized trials. We demonstrate power calculations for a time-to-event outcome in a cluster randomized trial setting, for which we are unaware of an analytic alternative.

연구 동기 및 목표

• 복잡한 데이터 구조로 인해 분석적 방법이 부적절한 군집 랜덤화 시험에서 정확한 검정력 계산의 과제를 해결한다.
• 실제 데이터를 반영하지 않는 외부 매개변수 추정치에 의존하는 시뮬레이션 기반 접근법의 한계를 극복한다.
• 특히 기준 기간이 있는 시간-이벤트 결과에 대해 계획된 데이터 분석에 대한 충실도를 확보하는 방법을 개발한다.
• 분석적 해법이 존재하지 않거나 비현실적인 설정에서 부트스트랩 검정력 계산의 실현 가능성과 정확성을 입증한다.
• 복잡한 결과를 갖는 군집 랜덤화 시험을 설계하는 연구자들이 즉시 구현할 수 있는 실용적인 접근법을 제공한다.

제안 방법

• 관측된 데이터의 구조와 군집 내 상관관계를 유지하는 비모수적 부트스트랩 리샘플링을 사용하여 합성 데이터셋을 생성한다.
• 실제 시험에서 계획된 동일한 통계적 분석 방법을 각 부트스트랩 리샘플된 데이터셋에 적용하여 검정력을 추정한다.
• 기준 기간을 포함하기 위해 관측된 기준 기간 데이터로부터 리샘플링하고, 리샘플링 과정에서 결과 데이터와 결합한다.
• 노말 알파 수준에서 귀무가설을 기각하는 부트스트랩 샘플의 비율로 검정력을 추정한다.
• 최종 분석과 동일한 추정 및 추론 절차를 사용함으로써 방법론적 충실도를 확보한다.
• 관측된 데이터로부터의 경험적 분포를 사용함으로써 외부 데이터나 분포 가정에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 부트스트랩 리샘플링은 군집 랜덤화 시험에서 분석적 또는 시뮬레이션 기반 방법보다 더 정확한 검정력 계산을 제공할 수 있는가?
• RQ2 부트스트랩 방법은 군집 설계에서 기준 관찰 기간이 있는 시간-이벤트 결과를 어떻게 다룰 수 있는가?
• RQ3 기존 접근법과 비교해 부트스트랩 방법은 계획된 데이터 분석에 얼마나 높은 충실도를 유지하는가?
• RQ4 외부 매개변수 추정치나 강한 분포 가정에 의존하지 않고도 검정력을 계산할 수 있는가?
• RQ5 복잡한 군집 랜덤화 시험 설정에서 부트스트랩 검정력 계산을 수행하기 위한 실용적 구현 단계는 무엇인가?

주요 결과

• 부트스트랩 검정력 계산은 실제 데이터 분석 과정을 밀접하게 모방함으로써 분석적 및 시뮬레이션 기반 방법보다 더 정확한 대안을 제공한다.
• 이 방법은 시간-이벤트 결과와 기준 기간이 있는 군집 랜덤화 시험과 같은 복잡한 설계를 효과적으로 다룰 수 있다.
• 외부 매개변수 추정치가 필요로 하지 않아 실제 세계 데이터를 반영하지 못할 수 있는 가정에 대한 의존도를 줄인다.
• 최종 시험 분석과 동일한 분석 절차를 부트스트랩에서 사용함으로써 방법론적 충실도를 확보한다.
• 저자들은 분석적 대안가 없는 설정에서 생존 결과에 대해 부트스트랩 방법의 실현 가능성을 입증하였다.
• 부트스트랩 접근법은 구현이 단순하며, 전통적 검정력 계산 방법에 어려움을 겪는 연구자들에게 실용적인 해결책을 제공한다.