[論文レビュー] Thresholding Bandit for Dose-ranging: The Impact of Monotonicity

Aurélien Garivier, Pierre Ménard+2 more|arXiv (Cornell University)|Nov 13, 2017

Advanced Bandit Algorithms Research参考文献 2被引用数 10

ひとこと要約

本稿では、第1相臨床試験における投与量範囲決定のためのしきい値バンドイットアルゴリズムを提案する。毒性の投与量に伴う単調性を活用することで、標本複雑性を低減する。単調性のもとで漸近的に最適な標本複雑性バウンドを確立し、等高線回帰と単峰性回帰を用いた計算効率の良いアルゴリズムを提示。非単調設定と比較して顕著な標本節約を達成する。

ABSTRACT

We analyze the sample complexity of the thresholding bandit problem, with and without the assumption that the mean values of the arms are increasing. In each case, we provide a lower bound valid for any risk $δ$ and any $δ$-correct algorithm; in addition, we propose an algorithm whose sample complexity is of the same order of magnitude for small risks. This work is motivated by phase 1 clinical trials, a practically important setting where the arm means are increasing by nature, and where no satisfactory solution is available so far.

研究の動機と目的

• 第1相臨床試験において、毒性が目標しきい値に最も近い投与量を特定するための標本複雑性を分析すること。
• 投与量に伴い毒性が増加するという単調性が、標本複雑性に与える影響を、臨床試験設計における重要な構造的特徴として調査すること。
• 単調性ありおよび非単調性ありの両設定において、任意のδ-正しく動作するアルゴリズムに成立する標本複雑性の下界を導出すること。
• δ → 0 のとき、下界に漸近的に一致するアルゴリズムを提案すること、特に単調性がある場合に焦点を当てる。
• 単調性を活用することで達成可能な標本節約の程度を、単峰性回帰による実装の観点から定量すること。

提案手法

• 標本の平均が目標しきい値Sに最も近い腕（投与量）を特定するためのしきい値バンドイットフレームワークを用いる。
• 情報理論的議論を用いて、任意のδ-正しく動作するアルゴリズムに成立する標本複雑性の下界を導出する。
• 信頼区間に基づく逐次的サンプリングルールを用いることで、下界に漸近的に一致するアルゴリズムを提案する。
• 推定平均を単調順序制約上に射影するための等高線回帰を組み込み、単調性仮定と整合性を保つ。
• 特に単調性がある場合に最適なサンプリング割り当てを計算するために、制約付き勾配上昇法を用いた単峰性回帰を採用する。
• 真の平均ベクトルを、しきい値Sで制限された等高線列の集合および等高線列の集合に射影することにより、最適な複雑性項を定義する。

実験結果

リサーチクエスチョン

• RQ1 単調性を仮定しない場合の、しきい値に最も近い毒性を持つ投与量を特定するための根本的な標本複雑性の下界は何か？
• RQ2 投与量に伴い毒性が増加するという単調性の仮定が、しきい値バンドイット問題の標本複雑性に与える影響は何か？
• RQ3 単調性のもとで下界に漸近的に一致するアルゴリズムを設計可能か？その計算コストはいかほどか？
• RQ4 平均が増加することが既知のとき、最適な標本複雑性の正確な形は何か？
• RQ5 第1相臨床試験において、単調性を活用することでどの程度の標本削減が達成可能か？

主な発見

• 本稿では、単調性ありおよび非単調性ありの両設定において、任意のδ-正しく動作するアルゴリズムに成立する標本複雑性の下界を確立した。
• 単調性のもとでは、非単調設定と比較して最適な標本複雑性が厳密に小さくなる。その削減は単峰性回帰射影を用いて定量的に示された。
• 提案されたアルゴリズムは、δ → 0 のとき、非単調および単調設定の両方で下界に漸近的に一致する。
• 単調性のもとでの最適なサンプリング複雑性は、真の平均ベクトルをしきい値Sで制限された等高線列の集合に射影することによって特徴づけられる。
• 重要な洞察は、λ*a = min(λ̂a, S) であり、ここで λ̂ は平均の等高線回帰である。これにより、複雑性項の正確な計算が可能になる。
• アルゴリズムの計算コストは単峰性回帰の必要性により増加するが、実用的には顕著な標本節約が達成可能である。