[논문 리뷰] Learning Modular Safe Policies in the Bandit Setting with Application to Adaptive Clinical Trials

Hossein Aboutalebi, Doina Precup외 1명|arXiv (Cornell University)|2019. 03. 04.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 3

한 줄 요약

이 논문은 다중 손잡이 뱅기 문제에 대해 모듈러한 안전성 인식 회귀 프레임워크를 도입하여 기대 보상 외의 위험을 더 유연하게 정의할 수 있도록 한다. 이는 BESA+라는 수정된 BESA 알고리즘을 제안하며, 다양한 안전 기준 하에서 낮은 회귀를 달성하여 표준 뱅기 방법보다 합성 및 실제 임상 시험 데이터셋에서 뛰어난 성능을 보인다. 특히 고평균, 고분산 대안 대비 일관성 있는 치료를 우선시한다.

ABSTRACT

The stochastic multi-armed bandit problem is a well-known model for studying the exploration-exploitation trade-off. It has significant possible applications in adaptive clinical trials, which allow for dynamic changes in the treatment allocation probabilities of patients. However, most bandit learning algorithms are designed with the goal of minimizing the expected regret. While this approach is useful in many areas, in clinical trials, it can be sensitive to outlier data, especially when the sample size is small. In this paper, we define and study a new robustness criterion for bandit problems. Specifically, we consider optimizing a function of the distribution of returns as a regret measure. This provides practitioners more flexibility to define an appropriate regret measure. The learning algorithm we propose to solve this type of problem is a modification of the BESA algorithm [Baransi et al., 2014], which considers a more general version of regret. We present a regret bound for our approach and evaluate it empirically both on synthetic problems as well as on a dataset from the clinical trial literature. Our approach compares favorably to a suite of standard bandit algorithms.

연구 동기 및 목표

• 임상 시험에서 기대 보상만 최적화되는 표준 뱅기 알고리즘의 한계를 해결하기 위해, 이상치나 분산이 결과에 영향을 미칠 수 있는 상황에서의 성능 저하 문제를 다루기 위함.
• 분야별 위험 선호도에 따라 안전성과 일관성을 정의할 수 있는 모듈러한 회귀 정의를 개발하기 위함.
• 낮은 하이퍼파rameter 민감도를 유지하면서도 임의의 안전성 인식 회귀 함수를 처리할 수 있도록 BESA 알고리즘을 확장하기 위함.
• 합성 환경과 실제 임상 시험 데이터에서 BESA+의 실증적 검증을 통해 일관성 중심 설정에서 뛰어난 성능을 보여주기 위함.
• 사용자 정의된 안전 기준 하에서 뱅기 알고리즘을 벤치마킹할 수 있도록 공개된 웹 시뮬레이터 제공하기 위함.

제안 방법

• 분산, 조건부 기대손실(CVaR), 평균-분산 트레이드오프와 같은 분포적 성질을 포함한 기대 회귀를 일반화한 모듈러한 안전성 인식 회귀 함수를 제안.
• 신규 안전성 인식 회귀를 최적화하기 위해 BESA 알고리즘(BESA+)을 수정하며, 경험적 평균과 McDiarmid의 부등식을 활용한 농도 경계를 사용.
• 모수적 가정이 필요 없는 임의의 위험 측도에 적응할 수 있도록, 안전성 인식 가치 함수를 추정하기 위해 샘플링 기반 접근법을 활용.
• 경험적 위험 추정에서 유도된 안전성 인식 신뢰도 경계를 사용한 UCB 스타일 탐색 전략을 적용.
• McDiarmid의 보조정리 기반 이론적 회귀 경계를 사용하여, 안전성 함수에 대한 약한 정규성 조건 하에서도 수렴성을 보장.
• 사용자가 사용자 정의한 뱅기 환경을 설정하고 실시간으로 알고리즘 성능을 비교할 수 있는 웹 기반 시뮬레이터 개발.

실험 결과

연구 질문

• RQ1 소규모 표본 크기와 이상치 민감도가 높은 임상 시험 환경에 적용했을 때, 모듈러한 회귀 프레임워크가 뱅기 학습의 강건성을 향상시킬 수 있는가?
• RQ2 CVaR나 평균-분산과 같은 안전성 인식 회귀 정의 하에서 BESA+는 UCB1, Thompson Sampling, MV-LCB와 같은 표준 뱅기 알고리즘보다 어떻게 성능을 내는가?
• RQ3 실제 임상 데이터에서 BESA+는 평균 생존 시간가 더 높은 치료 2보다 분산이 낮고 일관성 있는 치료 1을 우선시하는가?
• RQ4 제안된 프레임워크는 알고리즘 재설계 없이도 임의의 안전성 인식 회귀 함수를 지원할 수 있는가?
• RQ5 웹 기반 시뮬레이터가 다양한 안전 기준 하에서 뱅기 알고리즘의 재현 가능 벤치마킹을 얼마나 잘 지원하는가?

주요 결과

• 합성 이원 및 다원 가우시안 믹스처 뱅기 환경에서, CVaR 및 평균-분산 안전 기능 모두에서 BESA+는 UCB1, Thompson Sampling, MV-LCB, ExpExp보다 낮은 누적 회귀를 기록했다.
• 폐암 환자에서의 실제 임상 시험 데이터셋에서, BESA+는 평균 생존 시간이 더 높은 치료 2보다 분산이 낮고 더 일관성 있는 치료 1을 지속적으로 우선시했다.
• BESA+의 최적 암 플레이 비율은 고분산 환경에서 특히 높은 수준을 유지하며 안정적인 치료의 보다 우수한 활용을 보여주었다.
• 두 안전 기준 모두에서 10회의 독립 실험에서 BESA+는 낮은 분산을 보이며 무작위 초기화 및 데이터 변동성에 대한 강건성을 입증했다.
• 웹 애플리케이션 시뮬레이터를 통해 사용자 정의 환경에서 실시간으로 뱅기 알고리즘 간 성능 비교가 성공적으로 가능했으며, 재현 가능성과 확장성 지원이 가능했다.
• 이론적 분석 결과, BESA+는 안전성 가치 함수에 대한 약한 가정 하에서도 渐近적 회귀 경계를 확보하며, 학습 정책으로서의 적합성을 확인했다.