[논문 리뷰] On Multi-Armed Bandit Designs for Dose-Finding Clinical Trials

Maryam Aziz, Emilie Kaufmann외 1명|arXiv (Cornell University)|2019. 03. 17.

Advanced Bandit Algorithms Research참고 문헌 46인용 수 26

한 줄 요약

이 논문은 1a/2a기 종양학 임상 시험에서 병용제제 선별을 위한 단순성 인식 사전 분포를 고려한 톰슨 샘플링을 주장하며, 유해하거나 효과가 없는 병용제제에의 노출을 최소화하면서 최적의 병용제제를 식별하는 데 뛰어난 성능을 보여줍니다. 균일 사전 분포를 사용한 톰슨 샘플링 변종에 대해 최초로 유한 시간 내 하위 최적 선택 수에 대한 상한을 제시하며, 시뮬레이션 결과 상태 기반 최적 알고리즘보다 뚜렷한 개선을 보입니다.

ABSTRACT

We study the problem of finding the optimal dosage in early stage clinical trials through the multi-armed bandit lens. We advocate the use of the Thompson Sampling principle, a flexible algorithm that can accommodate different types of monotonicity assumptions on the toxicity and efficacy of the doses. For the simplest version of Thompson Sampling, based on a uniform prior distribution for each dose, we provide finite-time upper bounds on the number of sub-optimal dose selections, which is unprecedented for dose-finding algorithms. Through a large simulation study, we then show that variants of Thompson Sampling based on more sophisticated prior distributions outperform state-of-the-art dose identification algorithms in different types of dose-finding studies that occur in phase I or phase I/II trials.

연구 동기 및 목표

• 치료적 이득과 실험의 균형을 맞추기 위해 초기 단계 임상 시험의 윤리적 및 통계적 과제를 해결하기 위해.
• 세포독성 약물(1a기)과 분자 표적 약물(1a/2a기)을 모두 수용할 수 있는 통합적이고 적응적인 병용제제 선별 프레임워크를 개발하기 위해.
• 단순성 가정 하에 병용제제 선별 문제에서 톰슨 샘플링에 대한 유한 시간 이론적 보장을 제공하기 위해.
• 최적 병용제제 식별 정확도를 유지하면서 하위 최적 병용제제에의 할당을 줄여 기존 알고리즘을 초월하기 위해.
• 개인화된 병용제제 선별을 위한 환자 수준의 정보를 통합한 실용적 확장 사례를 탐색하기 위해.

제안 방법

• 관찰된 유해성 및 효과성 결과를 바탕으로 순차적으로 병용제제를 할당하기 위해 베이지안 밴디트 알고리즘으로서 톰슨 샘플링을 적응적으로 적용합니다.
• 이론적 분석을 위해 유해성 확률에 대해 독립적인 균일 사전 분포를 사용하며, 이후 단순성 정보를 반영하는 더 유용한 사전 분포로 확장합니다.
• 유해성과 효과성에서의 단순성 특성을 활용하여 유해하거나 효과가 없는 병용제제에의 할당을 줄이는 TS_A 알고리즘을 제안합니다.
• 균일 사전 분포 하에서 하위 최적 병용제제 선택 수에 대한 상한을 도출하기 위해 유한 시간 분석을 적용합니다.
• 다양한 임상 시나리오에서 최신 기술 기반 병용제제 선별 알고리즘과의 성능 비교를 위해 시뮬레이션 연구를 수행합니다.
• 특히 단순성 제약 하에서 최적 할당 전략의 역할을 고려하여, 밴디트 문제에서 최적의 암호 선택(보통의 암호 선택) 이론적 통찰을 통합합니다.

실험 결과

연구 질문

• RQ1 단순성 인식 사전 분포를 갖춘 톰슨 샘플링은 1a기 및 1a/2a기 임상 시험에서 최적 병용제제를 식별하는 데 기존 병용제제 선별 알고리즘을 능가할 수 있는가?
• RQ2 병용제제 선별 밴디트 문제에서 균일 사전 분포를 사용한 톰슨 샘플링에 대해 어떤 유한 시간 성능 보장을 확보할 수 있는가?
• RQ3 유해성과 효과성에 단순성 정보를 통합할 경우, 적응형 임상 시험의 할당 효율성과 윤리적 결과에 어떤 영향을 미치는가?
• RQ4 톰슨 샘플링은 개인화된 병용제제 선별을 위한 환자 수준의 정보를 처리할 수 있도록 확장될 수 있는가?
• RQ5 사전 분포 선택이 병용제제 선별 알고리즘의 수렴성과 강건성에 어떤 영향을 미치는가?

주요 결과

• 논문은 병용제제 선별 밴디트 문제에서 균일 사전 분포를 사용한 톰슨 샘플링에 대해 하위 최적 병용제제 선택 수에 대한 최초의 유한 시간 상한을 확립합니다.
• 시뮬레이션 결과, 정보성 사전 분포를 갖춘 톰슨 샘플링 변종이 다양한 1a기 및 1a/2a기 임상 시험 설계에서 최적 병용제제 식별에 있어 기존 기반 알고리즘보다 뚜렷한 성능 향상을 보입니다.
• TS_A 알고리즘은 높은 유해성 병용제제에의 할당을 줄이면서도 높은 정확도를 유지하여 임상 시험의 윤리적 결과를 향상시킵니다.
• 이론적 분석을 통해 단순성 하에서 최적 샘플링 할당은 MTD에 인접한 병용제제에 집중되어 있음을 밝혀내며, 표적 탐색을 뒷받침합니다.
• 고정 예산 설정은 여전히 최적 할당에 있어 도전 과제로 남아 있으며, 고정 신뢰도 BAI 분야에서의 진전에도 불구하고 이 분야의 추가 연구가 필요함을 시사합니다.
• 구조적 사전 분포를 갖춘 톰슨 샘플링은 기존 병용제제 선별 방법에 비해 탄탄한 이론적 기반과 실증적 슈퍼리어리티를 제공하는 유연하고 이론적으로 타당한 대안을 제공합니다.