[논문 리뷰] Bandit Algorithms for Precision Medicine

Yangyi Lu, Ziping Xu외 1명|arXiv (Cornell University)|2021. 08. 10.

Advanced Bandit Algorithms Research참고 문헌 123인용 수 6

한 줄 요약

이 논문은 환자의 고유한 데이터를 활용하여 개인화된 치료 결정을 최적화하기 위해 정밀의료를 위한 밴딧 알고리즘을 제안한다. 맥락 기반 및 다중 손잡이 밴딧에 중점을 두며, 커널 기반 다중 작업 학습과 톰슨 샘플링에서의 적응형 풀링과 같은 고급 방법을 도입하여, 각각 $\tilde{O}(\sqrt{Tr_zr_c})$ 및 $\tilde{O}(dn\sqrt{T})$의 손실 한계를 달성함으로써 이질적인 환자 집단에서 학습 효율성을 향상시킨다.

ABSTRACT

The Oxford English Dictionary defines precision medicine as "medical care designed to optimize efficiency or therapeutic benefit for particular groups of patients, especially by using genetic or molecular profiling." It is not an entirely new idea: physicians from ancient times have recognized that medical treatment needs to consider individual variations in patient characteristics. However, the modern precision medicine movement has been enabled by a confluence of events: scientific advances in fields such as genetics and pharmacology, technological advances in mobile devices and wearable sensors, and methodological advances in computing and data sciences. This chapter is about bandit algorithms: an area of data science of special relevance to precision medicine. With their roots in the seminal work of Bellman, Robbins, Lai and others, bandit algorithms have come to occupy a central place in modern data science ( Lattimore and Szepesvari, 2020). Bandit algorithms can be used in any situation where treatment decisions need to be made to optimize some health outcome. Since precision medicine focuses on the use of patient characteristics to guide treatment, contextual bandit algorithms are especially useful since they are designed to take such information into account. The role of bandit algorithms in areas of precision medicine such as mobile health and digital phenotyping has been reviewed before (Tewari and Murphy, 2017; Rabbi et al., 2019). Since these reviews were published, bandit algorithms have continued to find uses in mobile health and several new topics have emerged in the research on bandit algorithms. This chapter is written for quantitative researchers in fields such as statistics, machine learning, and operations research who might be interested in knowing more about the algorithmic and mathematical details of bandit algorithms that have been used in mobile health.

연구 동기 및 목표

• 정밀의료 및 이동형 헬스케어 응용 분야에 관련된 밴딧 알고리즘에 대한 종합적인 개요를 제공하는 것.
• 비정상성, 강건성, 공정성, 인과관계와 같은 밴딧 알고리즘의 기초 및 고급 주제를 부각하는 것.
• 밴딧 알고리즘의 이론적 발전을 의료 결정 문제의 실무적 과제와 연결하는 것.
• 개인화된 치료 정책을 위한 커널 기반 다중 작업 학습 및 적응형 랜덤 효과 풀링과 같은 고급 방법을 제시하는 것.
• 보상 설계, 지연된 결과, 임상 목표와의 일치성과 같은 분야의 열린 연구 과제를 규명하는 것.

제안 방법

• 다중 손잡이 밴딧(MAB) 및 맥락 기반 밴딧 프레임워크를 정형화하여 시간에 따라 치료 선택과 건강 결과 피드백을 모델링한다.
• 독립 동일분포(i.i.d.) 보상이 있는 스토하스틱 MAB 설정을 도입하고, 최적 보상과 누적 보상 간의 차이로 손실을 정의한다.
• 탐색과 이용을 균형 잡기 위해 상한 신뢰도(UCB) 및 톰슨 샘플링 알고리즘을 적용한다.
• 반드시 양의 정의된 커널 $\tilde{k}$를 사용하여 작업과 맥락 유사성을 모델링하는 커널 기반 다중 작업 학습 밴딧 알고리즘인 KMTL-UCB를 제안한다.
• 랜덤 효과를 사용하여 환자 간의 데이터를 이탈도에 기반해 적응적으로 풀링하는 톰슨 샘플링의 변종인 IntelligentPooling을 개발한다.
• 이론적 손실 한계를 유도한다: KMTL-UCB에 대해 $\tilde{\mathcal{O}}(\sqrt{Tr_zr_c})$ 및 IntelligentPooling에 대해 $\tilde{\mathcal{O}}(dn\sqrt{T})$이며, 여기서 $r_z$는 작업 유사성 커널의 질량을 반영하고 $d$는 특징 차원이다.

실험 결과

연구 질문

• RQ1 환자의 고유한 맥락을 활용하여 정밀의료에서 개인화된 치료 결정을 최적화하기 위해 밴딧 알고리즘을 어떻게 적응시킬 수 있는가?
• RQ2 이질적인 환자 집단에서 다중 작업 및 맥락 기반 밴딧 알고리즘에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 랜덤 효과를 통한 환자 데이터의 적응형 풀링은 개인화된 치료 정책에서 학습 효율성과 손실 한계를 어떻게 향상시키는가?
• RQ4 지연된 치료 효과와 일치하지 않는 보상 함수를 다루는 데 있어 현재의 밴딧 프레임워크의 한계는 무엇인가?
• RQ5 밴딧 알고리즘은 임상 환경에서 손상된 보상과 제약된 결정 수립에 어떻게 강건하게 만들 수 있는가?

주요 결과

• KMTL-UCB 알고리즘은 $\tilde{\mathcal{O}}(\sqrt{Tr_zr_c})$의 손실 한계를 달성하며, 여기서 $r_z$는 작업 유사성 커널의 질량이다. 이는 작업이 유사할 경우 더 높은 샘플 효율성을 보여준다.
• 작업 유사성을 忽시할 경우($r_z = n$), 한계는 $\tilde{\mathcal{O}}(\sqrt{Tr_c})$로 감소하며, 이는 표준 맥락 기반 밴딧 성능과 일치한다.
• 모든 작업이 풀링될 경우($r_z = 1$), 한계는 $\tilde{\mathcal{O}}(\sqrt{Tr_c})$로 변환되며, 이는 공유 학습의 이점을 보여준다.
• IntelligentPooling은 $\tilde{\mathcal{O}}(dn\sqrt{T})$의 손실 한계를 달성하여 환자 수 $n$과 특징 차원 $d$에 따라 확장 가능함을 보여준다.
• 랜덤 효과의 사용은 적응형 풀링을 가능하게 하며, 이는 이질적인 반응을 보이는 환자들이 덜 풀링되도록 하여 개인화를 향상시킨다.
• 논문은 보상 설계의 '일치 문제'를 핵심 과제로 규명하며, 낮은 손실에도 불구하고 일치하지 않는 보상은 임상 유용성을 떨어뜨릴 수 있음을 시사한다.