[論文レビュー] Learning Modular Safe Policies in the Bandit Setting with Application to Adaptive Clinical Trials

Hossein Aboutalebi, Doina Precup+1 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Bandit Algorithms Research参考文献 11被引用数 3

ひとこと要約

本稿では、期待報酬以外のリスクを柔軟に定義できるモジュラーな安全志向レグレットフレームワークを導入し、マルチアームバンディットに応用する。BESA+と呼ばれる修正版BESAアルゴリズムを提案し、多様な安全基準下で低レグレットを達成するが、特に一貫性のある治療法を好む傾向を示し、合成および実臨床試験データセットにおいて、標準的なバンディット手法を上回る性能を発揮する。

ABSTRACT

The stochastic multi-armed bandit problem is a well-known model for studying the exploration-exploitation trade-off. It has significant possible applications in adaptive clinical trials, which allow for dynamic changes in the treatment allocation probabilities of patients. However, most bandit learning algorithms are designed with the goal of minimizing the expected regret. While this approach is useful in many areas, in clinical trials, it can be sensitive to outlier data, especially when the sample size is small. In this paper, we define and study a new robustness criterion for bandit problems. Specifically, we consider optimizing a function of the distribution of returns as a regret measure. This provides practitioners more flexibility to define an appropriate regret measure. The learning algorithm we propose to solve this type of problem is a modification of the BESA algorithm [Baransi et al., 2014], which considers a more general version of regret. We present a regret bound for our approach and evaluate it empirically both on synthetic problems as well as on a dataset from the clinical trial literature. Our approach compares favorably to a suite of standard bandit algorithms.

研究の動機と目的

• 臨床試験において期待報酬のみを最適化する標準的なバンディットアルゴリズムの限界、すなわち外れ値や分散が結果を歪める可能性を是正すること。
• 分野特有のリスク好みに基づき、安全性と一貫性を定義可能なモジュラーなレグレット定義を開発すること。
• 任意の安全志向レグレット関数を処理しつつ、ハイパーパrameterへの感受性が低い状態を維持するようにBESAアルゴリズムを拡張すること。
• 合成環境および実臨床試験データに対してBESA+を実証的に検証し、一貫性重視の設定において優れた性能を示すこと。
• ユーザー定義の安全基準下でバンディットアルゴリズムをベンチマーク可能な公開ウェブシミュレータを提供すること。

提案手法

• 分散の性質（分散、CVaR、平均-分散トレードオフなど）を含む一般化された期待レグレットに拡張したモジュラーな安全志向レグレット関数を提案する。
• 新しい安全志向レグレットを最適化するため、BESAアルゴリズム（BESA+）を修正し、経験的平均とMcDiarmidの不等式を用いて濃度バウンドを算出する。
• 安全志向価値関数の推定にサンプリングベースのアプローチを採用し、パラメトリックな仮定を必要とせず、任意のリスク指標に適応可能にする。
• 経験的リスク推定に基づく安全志向の信頼区間を用いたUCBスタイルの探索戦略を採用する。
• McDiarmidの補題に基づく理論的レグレットバウンドを用い、安全関数にやや弱い正則性条件が課せられても収束を保証する。
• ユーザーがカスタムバンディット環境を定義し、リアルタイムでアルゴリズムの性能を比較可能なウェブベースのシミュレータを開発する。

実験結果

リサーチクエスチョン

• RQ1 小規模なサンプルサイズと外れ値に敏感な結果を示す臨床試験に適用した場合、モジュラーなレグレットフレームワークはバンディット学習の耐性を向上させ得るか？
• RQ2 CVaR や平均-分散といった安全志向レグレット定義下で、BESA+は標準的なバンディットアルゴリズム（例：UCB1、Thompson Sampling、MV-LCB）と比較してどのように性能を発揮するか？
• RQ3 実臨床試験データにおいて、平均生存期間が長いが分散も高い治療2号に対して、BESA+は分散が低く一貫性の高い治療1号を好む傾向を示すか、その傾向が維持されるか？
• RQ4 提案されたフレームワークは、アルゴリズムの再設計を要せず、任意の安全志向レグレット関数をサポートできるか？
• RQ5 ウェブベースのシミュレータは、多様な安全基準下でバンディットアルゴリズムの再現可能なベンチマークをどの程度可能にするか？

主な発見

• 合成2アームおよび多アームのガウス混合バンディット環境において、CVaRおよび平均-分散安全関数の両基準下で、BESA+はUCB1、Thompson Sampling、MV-LCB、ExpExpより低い累積レグレットを達成した。
• 非小細胞肺癌患者の実臨床試験データでは、BESA+は平均生存期間が長い治療2号ではなく、分散が低く一貫性の高い治療1号を一貫して選択した。
• BESA+における最適アームの選択確率は、特に分散の高い環境下で、ベースライン手法を上回り、安定した治療の活用が進んでいることを示している。
• 両安全基準下で10回の独立実験において、BESA+は低い分散を示し、ランダム初期化やデータのフラクチュエーションに対して耐性があることを裏付けた。
• ウェブアプリケーションシミュレータは、ユーザー定義の環境下でバンディットアルゴリズムのリアルタイム比較を成功裏に実現し、再現性と拡張性を支援した。
• 理論的分析により、BESA+は安全価値関数にやや弱い仮定が課せられても、漸近的レグレットバウンドを達成することが示され、学習方策としての適切性が確認された。