[论文解读] Correlational Dueling Bandits with Application to Clinical Treatment in Large Decision Spaces

Yanan Sui, Yisong Yue+1 more|arXiv (Cornell University)|Jul 8, 2017

Advanced Bandit Algorithms Research参考文献 14被引用 6

一句话总结

本文提出 CorrDuel，一种新颖的双臂赌博机算法，通过利用大规模决策空间中的低维相关性结构，在噪声成对反馈的序列决策中加速收敛。通过使用相关偏好反馈而非仅两个对战臂来更新全局臂集合，CorrDuel 在临床脊髓刺激优化中实现了更快的收敛速度和更优性能，在截瘫患者的真实试验中优于人工医生选择。

ABSTRACT

We consider sequential decision making under uncertainty, where the goal is to optimize over a large decision space using noisy comparative feedback. This problem can be formulated as a $K$-armed Dueling Bandits problem where $K$ is the total number of decisions. When $K$ is very large, existing dueling bandits algorithms suffer huge cumulative regret before converging on the optimal arm. This paper studies the dueling bandits problem with a large number of arms that exhibit a low-dimensional correlation structure. Our problem is motivated by a clinical decision making process in large decision space. We propose an efficient algorithm CorrDuel which optimizes the exploration/exploitation tradeoff in this large decision space of clinical treatments. More broadly, our approach can be applied to other sequential decision problems with large and structured decision spaces. We derive regret bounds, and evaluate performance in simulation experiments as well as on a live clinical trial of therapeutic spinal cord stimulation. To our knowledge, this marks the first time an online learning algorithm was applied towards spinal cord injury treatments. Our experimental results show the effectiveness and efficiency of our approach.

研究动机与目标

• 解决现有双臂赌博机算法在大规模决策空间（K 值较高，即臂的数量多）中的低效问题，其中在收敛前累积遗憾仍保持较高水平。
• 在临床治疗优化中建模并利用臂之间的低维相关性结构，尤其针对个性化脊髓刺激。
• 开发一种在线学习算法，仅使用临床环境中常见的成对比较反馈，而非定量奖励信号。
• 在脊髓损伤康复的真实临床试验中部署并评估该算法，证明其可行性和有效性。
• 证明算法优化可匹配或超越专家医生在选择最优刺激参数方面的能力。

提出的方法

• CorrDuel 使用一种相关性感知的更新机制（CorrUpdate），将偏好反馈在相关臂之间传播，更新整个活跃臂集合，而非仅限于两个对战臂。
• 该算法将决策空间建模为低秩结构，假设臂（刺激模式）通过共享特征（如电极配置、幅度和频率）相互关联。
• 它将 Beat-the-Mean 算法与 CorrUpdate 结合，以维持置信上界，并在相关臂之间平衡探索与利用。
• 该方法采用胜场计数更新策略，利用臂之间的相似性，高效传播偏好结果。
• 临床设置通过临床知识将初始决策空间从约 4.3×10⁷ 限制到约 10³–10⁴ 种配置，从而实现可行的在线优化。
• 该算法在一项真实临床试验中部署，针对两名截瘫患者，通过约 5 分钟的试验共进行了 414 次成对比较，以识别最优刺激模式。

实验结果

研究问题

• RQ1 当臂之间存在相关性时，即使反馈有限，双臂赌博机算法是否能在大规模决策空间中实现快速收敛？
• RQ2 如何利用高维临床治疗选项之间的相关性结构来减少遗憾并加速学习？
• RQ3 算法方法是否能匹配或超越专家医生在选择最优脊髓刺激参数方面的能力？
• RQ4 在临床治疗优化中，使用比较反馈（成对偏好）与定量反馈相比有何影响？
• RQ5 CorrDuel 是否能识别出人工临床选择所遗漏的高性能刺激配置？

主要发现

• CorrDuel 在模拟和真实临床试验中均实现了快速收敛，在有限次数的试验（414 次比较）内识别出最优刺激配置。
• 该算法发现了人工医生选择中未包含的近优刺激模式，包括一个表现优于医生首选方案的第二优配置。
• 在真实试验中，截瘫患者在 CorrDuel 选定的刺激模式下实现了全重力承重站立，证明了其临床可行性。
• CorrDuel 的性能与专家医生选择相当或更优，验证了其在真实临床决策中的有效性。
• CorrUpdate 的使用实现了在相关臂之间高效传播偏好反馈，与独立臂双臂赌博机相比，显著降低了遗憾。
• 据我们所知，这是首次将在线学习算法应用于临床环境中控制脊髓刺激。