[논문 리뷰] On variance estimation for generalizing from a trial to a target population

Ziyue Chen, Eloise Kaizar|arXiv (Cornell University)|2017. 04. 25.

Advanced Causal Inference Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 랜덤화된 임상 시험(RCT) 데이터를 사용하여 표적 인구에서 평균 치료 효과를 추정하기 위해 모형에 의존하지 않는 역확률가중추정량(IPWE)을 제안하며, 정밀도와 신뢰수준을 향상시키기 위해 새로운 분산 추정 방법을 도입한다. 표본 수가 적거나 치료 효과의 이질성이 높을 경우, 부트스트랩 기반 분산 추정 방법이 파라미터적 방법보다 우수함을 입증한다. 특히 시험 인구와 표적 인구 간의 오버랩이 제한적인 경우에 두드러진다.

ABSTRACT

Randomized controlled trials (RCTs) provide strong internal validity compared with observational studies. However, selection bias threatens the external validity of randomized trials. Thus, RCT results may not apply to either broad public policy populations or narrow populations, such as specific insurance pools. Some researchers use propensity scores (PSs) to generalize results from an RCT to a target population. In this scenario, a PS is defined as the probability of participating in the trial conditioning on observed covariates. We study a model-free inverse probability weighted estimator (IPWE) of the average treatment effect in a target population with data from a randomized trial. We present variance estimators and compare the performance of our method with that of model-based approaches. We examine the robustness of the model-free estimators to heterogeneous treatment effects.

연구 동기 및 목표

• 랜덤화된 대조 시험(RCT)에서 결과가 더 넓은 또는 특정 표적 인구로 일반화되지 않을 수 있는 외부 타당성 문제를 다루기 위해.
• 표적 인구에서 인구 평균 치료 효과(PATE)를 추정하기 위해 모형에 의존하지 않는 역확률가중추정량(IPWE)을 개발하기 위해.
• 특히 표본 수가 적거나 치료 효과의 이질성이 높은 조건에서 정확도를 향상시키기 위해, IPWE에 대한 새로운 분산 추정 방법—특히 리샘플링 기반 접근 방식—을 제안하고 평가하기 위해.
• 다양한 정도의 공변수 오버랩과 표본 크기에서 파라미터적, 부트스트랩, 특수 리샘플링 기반 분산 추정 방법의 성능을 비교하기 위해.
• 특히 유한한 표적 인구와 무한한 표적 인구 조건에서, 다양한 분산 추정 방법이 가장 신뢰할 수 있는 조건을 명확히 하기 위해.

제안 방법

• 유의확률 점수를 기반으로 한 역확률가중법(IPW)을 사용하여 RCT 참가자의 분포를 표적 인구의 분포와 일치하도록 재가중한다.
• 특정 결과 모형을 가정하지 않고, 인구 평균 치료 효과(PATE)를 추정하기 위해 모형에 의존하지 않는 IPWE를 적용한다.
• 점근 이론에 기반한 새로운 대표 표본 분산 추정량을 IPWE에 제안한다.
• 유한한 표적 인구와 무한한 표적 인구 조건에 맞게 조정된 두 가지 리샘플링 기반 분산 추정량—일반 부트스트랩과 고정-S 부트스트랩—을 도입한다.
• 표본 크기, 오버랩(Δp), 치료 효과의 이질성의 다양한 조건에서 파라미터적, 부트스트랩, 특수 리샘플링 기반 분산 추정 방법의 성능을 비교하기 위해 시뮬레이션 연구를 수행한다.
• 설문 조사 표본 추출 이론과 M-추정 원리에 기반하여 분산 추정량을 유도하고 검증하며, 유한한 표적 인구와 무한한 표적 인구 시나리오를 구분한다.

실험 결과

연구 질문

• RQ1 시험 인구와 표적 인구 간의 공변수 오버랩 정도가 다양할 때, IPWE의 PATE 추정에 있어 다양한 분산 추정 방법의 성능은 어떻게 되는가?
• RQ2 표본 크기가 분산 추정 방법의 정확성과 신뢰수준에 어떤 영향을 미치는가? 특히 소규모 시험에서의 영향은?
• RQ3 치료 효과의 이질성이 모형에 의존하지 않는 IPWE와 그에 따른 분산 추정 방법의 성능에 어떤 영향을 미치는가?
• RQ4 유한한 표적 인구와 무한한 표적 인구 조건에서, 파라미터적, 부트스트랩, 또는 특수 리샘플링 기반 분산 추정 방법 중 어느 것이 IPWE의 가장 정확한 신뢰수준을 제공하는가?
• RQ5 어떤 조건에서 모형에 의존하지 않는 IPWE와 리샘플링 기반 분산 추정 방법이 편향과 신뢰수준 측면에서 모형 기반 추정 방법보다 우수한가?

주요 결과

• 중간 정도의 오버랩(Δp ≤ 0.15)과 큰 표본 크기를 가진 무한한 표적 인구에서는, 파라미터적 및 부트스트랩 분산 추정 방법이 IPWE와 설문 조사 기반 추정량에 대해 명목상 95% 수준에 가까운 신뢰수준을 제공한다.
• 표본 크기가 작을 경우(n_total ≤ 500)에는 모든 분산 추정 방법이 진짜 변동성을 심각하게 과소평가하며, 특히 IPWE의 경우 파라미터적 방법이 신뢰할 수 없게 된다.
• 가중치가 부여된 OLS 추정량의 경우, 부트스트랩 방법이 파라미터적 분산 추정보다 더 우수한 성능을 보이며, 특히 소규모 표본이나 높은 오버랩 조건에서 두드러진다.
• 치료 효과의 이질성이 높거나 극단적인 오버랩(Δp = 0.38) 조건에서는 모든 분산 추정 방법이 진짜 변동성을 과소평가하지만, 특수 부트스트랩 방법이 IPWE에 대해 M-추정보다 더 나은 추정치를 제공한다.
• 극단적인 경우, 오버랩이 낮거나 표본 크기가 작을 경우에도, 부트스트랩 분산 추정 방법을 사용하는 IPWE는 전반적인 성능 저하에도 불구하고 모형 기반 추정 방법보다 편향과 신뢰수준 측면에서 여전히 뛰어나다.
• 제안된 특수 부트스트랩 방법은 치료 효과의 이질성과 소규모 표본 조건에서 M-추정보다 더 뛰어난 강건성을 보이며, 특히 IPWE에 대해 유의미한 개선을 이룬다.