[논문 리뷰] Model Selection versus Model Averaging in Dose Finding Studies

Kirsten Schorning, Björn Bornkamp외 2명|arXiv (Cornell University)|2015. 01. 01.

Statistical Methods in Clinical Trials참고 문헌 12인용 수 1

한 줄 요약

이 논문은 단계 II 임상 시험에서 모형 선택과 모형 평균화의 성능을 비교하며, AIC 및 BIC와 같은 기준을 점 渐차적 이론과 대규모 시뮬레이션을 통해 평가한다. 모형 평균화가 모형 선택보다 항상 더 우수한 성능을 보이며, 복잡도 조정된 모형 추정과 목표 복용량 추정에서 뛰어난 성능을 보였고, 부트스트랩 기반 평균화 방법은 불확실성 정량화 측면에서 실용적 이점이 있었다.

ABSTRACT

Phase II dose finding studies in clinical drug development are typically conducted to adequately characterize the dose response relationship of a new drug. An important decision is then on the choice of a suitable dose response function to support dose selection for the subsequent Phase III studies. In this paper we compare different approaches for model selection and model averaging using mathematical properties as well as simulations. Accordingly, we review and illustrate asymptotic properties of model selection criteria and investigate their behavior when changing the sample size but keeping the effect size constant. In a large scale simulation study we investigate how the various approaches perform in realistically chosen settings. Finally, the different methods are illustrated with a recently conducted Phase II dosefinding study in patients with chronic obstructive pulmonary disease.

연구 동기 및 목표

• 실제 조건에서 단계 II 복용량 찾기 연구에서 모형 선택과 모형 평균화의 성능을 평가하기 위해.
• 모형 선택 기준(AIC, BIC)의 점근적 성질과 다양한 표본 크기 및 고정 효과 크기에서의 행동을 조사하기 위해.
• 후보 모형 집합에 ANOVA 모형을 포함시키는 것이 추정 정확도와 모형 선택 성능에 미치는 영향을 평가하기 위해.
• 추정 효율성과 커버리지 측면에서 복합 기반 모형 평균화와 부트스트랩 기반 모형 평균화 방법을 비교하기 위해.
• 규제 기반 약물 개발 맥락에서 모형 선택과 모형 평균화 간의 선택에 실용적 지침을 제공하기 위해.

제안 방법

• 저자들은 AIC와 BIC 기준을 비교하기 위해 점근적 이론을 사용하여, AIC는 과도하게 복잡한 모형을 선호하는 경향이 있고 BIC는 일관성이 있음을 보였다.
• 대규모 시뮬레이션 연구를 통해 다양한 후보 모형 세트, 표본 크기, 효과 크기에서 모형 선택 및 평균화의 성능을 평가하였다.
• 모형 평균화는 복합 기반(AIC/BIC 가중치)과 부트스트랩 기반 방법을 모두 사용하여 탄력성과 불확실성 정량화 능력을 평가하였다.
• 사례 연구는 NCT00501852에 기반한 실제 COPD 임상 시험 데이터를 사용하였으며, 복용량 그룹당 50명의 환자를 기반으로 병렬군 설계를 시뮬레이션하여 관찰된 추정치와 일치시켰다.
• 목표 복용량 추정은 FEV1에서 임상적으로 유의미한 효과 δ = 0.1–0.14 L를 달성하기 위한 것으로, 모든 방법에 대해 95% 신뢰구간을 계산하였다.
• 성능 평가 지표로는 평균제곱오차, 신뢰구간의 커버리지 확률, 목표 복용량 추정 정확도 등을 사용하였다.

실험 결과

연구 질문

• RQ1 AIC와 BIC 기준은 점근적으로 모형 선택 일관성과 과적합 측면에서 어떻게 성능을 보이는가?
• RQ2 모형 평균화가 모형 선택보다 더 정확하고 신뢰할 수 있는 복용량-반응 곡선 추정을 가능하게 하는가?
• RQ3 후보 모형 집합에 ANOVA 모형을 포함시키는 것이 모형 선택 및 평균화 방법의 성능에 어떤 영향을 미치는가?
• RQ4 부트스트랩 기반 모형 평균화가 복합 기반 평균화보다 불확실성 정량화 측면에서 실용적 이점이 있는가?
• RQ5 실제 단계 II 연구 설계 조건에서 가장 정확한 목표 복용량 추정을 제공하는 모형 선택 또는 평균화 접근법은 무엇인가?

주요 결과

• 모형 평균화는 모든 시뮬레이션 시나리오에서 모형 선택을 일관되게 능가하였으며, 복용량-반응 곡선 추정이 더 정확하고 신뢰구간 커버리지가 더 우수하였다.
• ANOVA 모형이 후보 집합에서 제외된 경우 AIC 기반 기준이 BIC보다 略적으로 더 우수한 성능을 보였지만, AIC는 ANOVA 모형을 너무 자주 선택하여 성능을 저하시켰다.
• ANOVA 모형을 후보 집합에 포함시키면 AIC 기반 방법의 성능이 저하되었으며, 이는 모형 집합에 ANOVA를 추가하는 데 제한된 가치가 있음을 시사한다.
• BIC 유형 기준은 동일한 추정 곡선과 표준오차를 가진 경우에도 다양한 표본 크기에서 다른 모형을 선택하여 설계 단계에서의 제약를 드러냈다.
• 부트스트랩 기반 모형 평균화는 모형 불확실성 조정된 신뢰구간을 간편하게 계산할 수 있어, 복합 기반 방법에 비해 실용적 이점이 있었다.
• COPD 사례 연구에서 AIC 기반 부트스트랩 모형 평균화는 목표 복용량을 50 mg로 추정하였으며, 최대 효과의 91.22%를 달성했고, 95% 신뢰구간은 [50.00%, 164.21%]로 나타나 플라토 형 반응을 보였다.