[논문 리뷰] Constructing Dynamic Treatment Regimes in Infinite-Horizon Settings

Ashkan Ertefaie|arXiv (Cornell University)|2014. 06. 03.

Advanced Causal Inference Techniques참고 문헌 32인용 수 13

한 줄 요약

이 논문은 무한 시간 설정에서 후속 관찰이 계속되고 고정된 종료점이 없는 환경에서 최적의 동적 치료 제도(DTR)를 구성하기 위해 시간 차분 잔차를 사용하는 새로운 추론 절차를 제안한다. 이 방법은 뒤로 거꾸로 계산하는 것 없이 행동-가치 함수와 최적의 결정 규칙을 추정할 수 있어, 유한한 관찰 데이터를 바탕으로 당뇨병과 같은 만성질환에 대한 장기적 치료 최적화를 가능하게 한다. 이론적 보장과 시뮬레이션을 통한 성능 검증을 통해 헤모글로빈 A1c 수치를 효과적으로 조절함을 입증하였다.

ABSTRACT

The application of existing methods for constructing optimal dynamic treatment regimes is limited to cases where investigators are interested in optimizing a utility function over a fixed period of time (finite horizon). In this manuscript, we develop an inferential procedure based on temporal difference residuals for optimal dynamic treatment regimes in infinite-horizon settings, where there is no a priori fixed end of follow-up point. The proposed method can be used to determine the optimal regime in chronic diseases where patients are monitored and treated throughout their life. We derive large sample results necessary for conducting inference. We also simulate a cohort of patients with diabetes to mimic the third wave of the National Health and Nutrition Examination Survey, and we examine the performance of the proposed method in controlling the level of hemoglobin A1c. Supplementary materials for this article are available online.

연구 동기 및 목표

• 후속 관찰이 계속되고 고정된 종료점이 없는 무한 시간 설정에서 최적의 동적 치료 제도(DTR)를 구성하기 위한 통계적 추론 절차를 개발하는 것.
• 기존 DTR 방법의 한계를 해결하기 위해, 사전에 정해진 종료 시간이 있는 유한 시간 설정에 국한된 방법에 대한 제약을 제거하는 것.
• 고정된 시간 창 동안 수집된 관찰 데이터를 바탕으로 당뇨병과 같은 만성질환에 대한 최적의 치료 제도를 추정할 수 있도록 하는 것.
• 대표적 표본 이론을 제공하여, 제안된 추정기의 점근적 정규성 및 일致성 등을 입증하는 것.
• 단기적인 부작용과 장기적인 결과를 균형 있게 조절할 수 있는 능력을 보여주기 위해 시뮬레이션을 통해 검증하며, 특히 헤모글로빈 A1c 수치 조절에 중점을 둔다.

제안 방법

• 이 방법은 최종 시간점에서의 역방향 추정이 필요 없이 시간 차분 잔차를 기반으로 한 추정 방정식을 사용하여 최적의 행동-가치 함수를 추정한다.
• Q-함수를 충분통계량의 선형 함수로 모델링하며, $ Q(s,a;\theta) = \varphi(s,a)^\top \theta $ 의 파라미터 형식을 사용한다. 여기서 $ \varphi $ 는 알려진 기저 함수 벡터이다.
• 최적의 치료 제도는 $ \pi^*(s) = \arg\max_a \varphi(s,a)^\top \theta $ 를 풀어 도출되며, $ \theta $ 는 확률적 근사법을 통해 추정된다.
• 조정 파rameter $ \alpha $ 와 $ \beta $ 를 사용하여 단계 크기와 수렴을 제어하는 이중 단계 확률적 최소화 알고리즘을 적용한다.
• 즉각적인 효과와 장기적 효과를 균형 있게 조절하기 위해 할인 요소 $ \gamma \in (0,1) $ 를 포함한다.
• 정규 조건 하에서 추정기의 점근적 정규성을 확립하였으며, 한계 분포는 경험 과정 이론을 통해 유도되었다.

실험 결과

연구 질문

• RQ1 고정된 종료점에서의 역방향 추정이 필요 없이, 유한한 관찰 데이터를 사용하여 무한 시간 설정에서 최적의 동적 치료 제도를 추정할 수 있는 방법을 개발할 수 있는가?
• RQ2 사전에 시간 범위가 정해지지 않은 환경에서 시간 차분 잔차를 어떻게 사용하여 행동-가치 함수와 최적의 결정 규칙을 추정할 수 있는가?
• RQ3 할인 요소 $ \gamma $ 의 선택이 단기 부작용과 장기 결과를 균형 있게 조절하는 데 있어 추정된 최적의 치료 제도에 얼마나 영향을 미치는가?
• RQ4 확률적 근사 알고리즘의 조정 파rameter $ \alpha $ 와 $ \beta $ 는 수렴성과 추정 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 추정기의 대표적 표본 성질은 무엇이며, 정규 조건 하에서 점근적 정규성을 확보할 수 있는가?

주요 결과

• 제안된 방법은 고정된 시간 창에서 수집된 관찰 데이터를 사용하여 무한 시간 설정에서 최적의 DTR을 성공적으로 추정하였으며, 고정된 종료점에서의 역방향 추정이 필요 없음을 입증하였다.
• 이 방법은 할인 요소 $ \gamma $ 의 선택이 치료 정책에 결정적인 영향을 미친다는 것을 보여주었다: 낮은 $ \gamma $ 는 더 이르기적인 의사결정을 유도하고, 높은 $ \gamma $ 는 즉각적인 부작용보다 장기적 이점을 우선시한다.
• 시뮬레이션 결과, $ \nu = 0.05 $ 일 때 확률적 최소화 알고리즘이 목적 함수의 진짜 최소값으로 수렴하는 것으로 나타났으며, 더 작은 단계 크기($ \nu = 0.01 $) 는 악화된 수렴과 더 높은 목적 함수 값을 초래하였다.
• 표준 오차가 가장 안정적이고 효율적인 것은 $ \alpha = \frac{\nu}{k\log(k)} $, $ \beta = \frac{\nu}{k} $, 그리고 $ \nu = 0.05 $ 를 사용했을 때였으며, 이는 시뮬레이션 비율과 수렴 행동을 통해 확인되었다.
• 이 방법은 추정기의 점근적 정규성을 달성하였으며, 한계 분포 $ \sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} N(0, \Gamma^\top \Sigma \Gamma) $ 가 유도되어 타당한 추론을 지원한다.
• NHANES 데이터를 모의한 시뮬레이션에서, 이 방법은 적절한 치료 조정 시점을 제안함으로써 헤모글로빈 A1c 수치를 효과적으로 조절하는 데 성공하였으며, 성능은 $ \gamma $ 와 조정 파rameter에 민감하게 영향을 받는 것으로 나타났다.