[論文レビュー] On Multi-Armed Bandit Designs for Dose-Finding Clinical Trials

Maryam Aziz, Emilie Kaufmann+1 more|arXiv (Cornell University)|Mar 17, 2019

Advanced Bandit Algorithms Research参考文献 46被引用数 26

ひとこと要約

本稿では、第1期・第1/2期がん治験における用量決定のため、単調性を考慮した事前分布を備えたトマソン・サンプリングを提唱し、有害または無効な用量への露出を最小限に抑えつつ最適な用量を特定する上で優れた性能を示している。本稿は、一様事前分布を用いたトマソン・サンプリングの変種について、有限時間における非最適選択の上界を初めて確立し、シミュレーションにより最先端のアルゴリズムを著しく上回ることを示している。

ABSTRACT

We study the problem of finding the optimal dosage in early stage clinical trials through the multi-armed bandit lens. We advocate the use of the Thompson Sampling principle, a flexible algorithm that can accommodate different types of monotonicity assumptions on the toxicity and efficacy of the doses. For the simplest version of Thompson Sampling, based on a uniform prior distribution for each dose, we provide finite-time upper bounds on the number of sub-optimal dose selections, which is unprecedented for dose-finding algorithms. Through a large simulation study, we then show that variants of Thompson Sampling based on more sophisticated prior distributions outperform state-of-the-art dose identification algorithms in different types of dose-finding studies that occur in phase I or phase I/II trials.

研究の動機と目的

• 早期段階の臨床試験における倫理的・統計的課題に応えるために、治療的利益と実験のバランスを取ること。
• 細胞毒性薬剤（第1期）と分子標的薬剤（第1/2期）の両方を扱える統合的かつ適応的フレームワークを構築すること。
• 単調性仮定の下で、用量決定におけるトマソン・サンプリングの有限時間的理論的保証を提供すること。
• 非最適な用量への割り当てを減らしながらも、最適な用量の特定における高い正確性を維持することで、既存のアルゴリズムを改善すること。
• 個別化された用量選択のための患者レベルの文脈情報を統合する実用的拡張を検討すること。

提案手法

• 観察された有害性および有効性の結果に基づき、逐次的に用量を割り当てるベイジアン・バンディット手法として、トマソン・サンプリングを適応させること。
• 理論的分析のため、有害性確率に独立した一様事前分布を用い、後に単調性を表現するより情報豊かな事前分布に拡張すること。
• 有害性および有効性における単調性を活用して、有害または無効な用量への割り当てを削減する、TS_Aアルゴリズムを提案すること。
• 有限時間解析を用いて、一様事前分布の下での非最適な用量選択回数の上界を導出すること。
• 多様な試験シナリオにおいて、最先端の用量決定アルゴリズムと性能を比較するためのシミュレーションスタディを実施すること。
• 特に単調性制約下での最適な割り当て戦略の役割を含め、バンディットにおける最良腕同定（BAI）からの理論的知見を統合すること。

実験結果

リサーチクエスチョン

• RQ1 単調性を考慮した事前分布を備えたトマソン・サンプリングは、第1期および第1/2期治験における最適な用量の特定において、既存の用量決定アルゴリズムを上回ることができるか？
• RQ2 用量決定バンディット問題において、一様事前分布を用いたトマソン・サンプリングに対して、どのような有限時間的性能保証を確立できるか？
• RQ3 有害性および有効性における単調性の組み込みが、適応的臨床試験の割り当て効率および倫理的結果に与える影響は何か？
• RQ4 トマソン・サンプリングは、がん治験における個別化された用量選択のための文脈情報を扱えるように拡張可能か？
• RQ5 事前分布の選択が、用量決定アルゴリズムの収束性およびロバストネスに与える影響は何か？

主な発見

• 本稿は、用量決定バンディット問題における一様事前分布を用いたトマソン・サンプリングについて、非最適な用量選択回数の初めての有限時間上界を確立した。
• シミュレーションの結果、情報豊かな事前分布を備えたトマソン・サンプリングの変種が、多様な第1期および第1/2期治験設計において、ベースラインアルゴリズムを著しく上回ることを示している。
• TS_Aアルゴリズムは、高有害性用量への割り当てを削減しながらも高い正確性を維持しており、臨床試験における倫理的結果の向上に寄与している。
• 理論的解析により、単調性下での最適なサンプリング割り当てが、MTDに隣接する用量に集中することが明らかになった。
• 固定予算設定は最適な割り当てに対して依然として挑戦的であり、固定信頼性BAIにおける進展にもかかわらず、この分野におけるさらなる研究の必要性を示している。
• 構造的事前分布を備えたトマソン・サンプリングは、従来の用量決定法に比べ、柔軟性があり理論的根拠が強く、実証的に優れた代替手段を提供する。