[논문 리뷰] Correlational Dueling Bandits with Application to Clinical Treatment in Large Decision Spaces

Yanan Sui, Yisong Yue외 1명|arXiv (Cornell University)|2017. 07. 08.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 큰 결정 공간에서 노이즈가 있는 쌍별 피드백 하에서 수렴을 가속화하기 위해 고차원적 상관관계 구조를 활용하는 새로운 듀얼링 밴디트 알고리즘인 CorrDuel을 제안한다. 두 대결하는 암을 포함한 전역적인 암 집합을 상관관계 기반 선호도 피드백으로 업데이트함으로써, CorrDuel은 수렴 속도를 높이고 임상적 척추수질 자극 최적화에서 수동 의료진 선택을 능가하는 성능을 보였다. 실제 마비 환자 대상 시험에서 검증되었다.

ABSTRACT

We consider sequential decision making under uncertainty, where the goal is to optimize over a large decision space using noisy comparative feedback. This problem can be formulated as a $K$-armed Dueling Bandits problem where $K$ is the total number of decisions. When $K$ is very large, existing dueling bandits algorithms suffer huge cumulative regret before converging on the optimal arm. This paper studies the dueling bandits problem with a large number of arms that exhibit a low-dimensional correlation structure. Our problem is motivated by a clinical decision making process in large decision space. We propose an efficient algorithm CorrDuel which optimizes the exploration/exploitation tradeoff in this large decision space of clinical treatments. More broadly, our approach can be applied to other sequential decision problems with large and structured decision spaces. We derive regret bounds, and evaluate performance in simulation experiments as well as on a live clinical trial of therapeutic spinal cord stimulation. To our knowledge, this marks the first time an online learning algorithm was applied towards spinal cord injury treatments. Our experimental results show the effectiveness and efficiency of our approach.

연구 동기 및 목표

• 큰 K(암의 수)를 가진 대규모 결정 공간에서 기존 듀얼링 밴디트 알고리즘의 비효율성, 특히 수렴 이전까지 누적 위험도가 높은 문제를 해결하기 위해.
• 특히 개인화된 척추수질 자극을 위한 임상 치료 최적화에서 암 간의 저차원 상관관계 구조를 모델링하고 활용하기 위해.
• 정량적 보상 신호 대신 임상 환경에서 흔한 쌍별 비교 피드백만을 사용하는 온라인 학습 알고리즘 개발을 위해.
• 척추수질 손상 재활을 위한 실세계 임상 시험에 알고리즘을 구현하고 평가하여 그 실현 가능성과 효과성을 입증하기 위해.
• 알고리즘 최적화가 최적의 자극 파rameter를 선택하는 전문 의료진 성능을 따라하거나 능가할 수 있음을 보여주기 위해.

제안 방법

• CorrDuel는 상관관계를 고려한 업데이트 메커니즘(CorrUpdate)을 사용하여, 두 대결하는 암 뿐 아니라 관련된 모든 암에 선호도 피드백을 전파함으로써 전체 활성 암 집합을 업데이트한다.
• 알고리즘은 결정 공간을 저질서 구조로 모델링하며, 전극 구성, 진폭, 주파수와 같은 공통 특징을 통해 암(자극 패턴) 간 상관관계가 존재한다고 가정한다.
• Beat-the-Mean 알고리즘과 CorrUpdate를 통합하여 상위 신뢰구간을 유지하고 관련된 암 간의 탐색과 이용 균형을 확보한다.
• 유사도를 활용하여 선호도 결과를 효율적으로 전파할 수 있도록 승리 수 업데이트 전략을 통합한다.
• 임상 지식을 활용해 초기 결정 공간을 약 4.3×10⁷에서 약 10³–10⁴개의 구성으로 제한함으로써 실현 가능한 온라인 최적화를 가능하게 한다.
• 알고리즘은 두 명의 마비 환자 대상 실시간 임상 시험에 구현되었으며, 약 5분간의 시험 동안 총 414회의 쌍별 비교를 통해 최적의 자극 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 암 간 상관관계가 존재하는 대규모 결정 공간에서 제한된 피드백 조건 하에서도 듀얼링 밴디트 알고리즘이 신속한 수렴을 달성할 수 있는가?
• RQ2 고차원 임상 치료 옵션 간의 상관관계 구조는 어떻게 활용하여 위험도를 감소시키고 학습 속도를 가속화할 수 있는가?
• RQ3 알고리즘적 접근이 최적의 척추수질 자극 파rameter를 선택하는 데 있어 전문 의료진 성능을 따라하거나 능가할 수 있는가?
• RQ4 임상 치료 최적화에서 비교 피드백(쌍별 선호도)과 정량적 피드백 간의 영향은 무엇인가?
• RQ5 CorrDuel는 수동 임상 선택에서 놓친 고성능 자극 구성 요소를 식별할 수 있는가?

주요 결과

• CorrDuel는 시뮬레이션과 실제 임상 시험 모두에서 빠른 수렴을 달성하여, 제한된 시험 수(414회 비교) 내에 최적의 자극 패턴을 식별했다.
• 알고리즘은 수동 의료진 선택에서 발견되지 않은 근접 최적의 자극 패턴을 발견했으며, 이 중 두 번째로 좋은 구성이 의료진의 최고 선택보다도 뛰어난 성능을 보였다.
• 실시간 시험에서 마비 환자들이 CorrDuel가 선택한 자극 패턴을 통해 전신 무게 지지 서있는 자세를 달성했으며, 임상적 실현 가능성은 입증되었다.
• CorrDuel의 성능는 전문 의료진 선택과 유사하거나 그 이상이었으며, 실제 임상 의사결정에서의 효과성을 입증했다.
• CorrUpdate의 사용으로 인해 관련된 암 간에 선호도 피드백이 효율적으로 전파되어 독립적 암 처리 방식의 듀얼링 밴디트보다 위험도가 크게 감소했다.
• 지금까지 알려진 바에 따르면, 이는 임상 환경에서 척추수질 자극을 제어하기 위해 온라인 학습 알고리즘을 적용한 최초의 사례이다.