[論文レビュー] A Bandit Approach to Multiple Testing with False Discovery Control

Kevin Jamieson, Lalit Jain|arXiv (Cornell University)|Sep 6, 2018

Advanced Bandit Algorithms Research参考文献 29被引用数 10

ひとこと要約

本稿では、有意水準の任意時制御（ anytime FDR control）を保証しながら統計的検出力（statistical power）を最大化する、バンドイットにインspiredした適応的サンプリング手法を提案する。逐次的フィードバックに基づき有望な仮説にサンプルを動的に割り当てることで、近似的に最適なサンプル複雑度を達成し、シミュレーションにおいて一様サンプリングや適応的除去戦略を著しく上回る性能を示し、情報理論的下界と一致する。

ABSTRACT

We propose an adaptive sampling approach for multiple testing which aims to maximize statistical power while ensuring anytime false discovery control. We consider $n$ distributions whose means are partitioned by whether they are below or equal to a baseline (nulls), versus above the baseline (actual positives). In addition, each distribution can be sequentially and repeatedly sampled. Inspired by the multi-armed bandit literature, we provide an algorithm that takes as few samples as possible to exceed a target true positive proportion (i.e. proportion of actual positives discovered) while giving anytime control of the false discovery proportion (nulls predicted as actual positives). Our sample complexity results match known information theoretic lower bounds and through simulations we show a substantial performance improvement over uniform sampling and an adaptive elimination style algorithm. Given the simplicity of the approach, and its sample efficiency, the method has promise for wide adoption in the biological sciences, clinical testing for drug discovery, and online A/B/n testing problems.

研究の動機と目的

• 複数仮説検定において、任意時制御（anytime）の誤り発見率（FDR）を保証しながら統計的検出力を最大化する適応的サンプリング戦略を開発すること。
• 一様サンプリングやヒューリスティックな適応的手法の限界を解消し、部分的な検出力や制御不能な誤り発見を回避すること。
• FDR制御を伴う複数仮説検定における既知の情報理論的下界と一致するサンプル複雑度を達成すること。
• 測定予算が制限される状況（例：臨床試験、創薬、オンラインA/B/nテスト）における実用的導入を可能にすること。
• 観測結果に基づき動的にサンプルを割り当てる、理論的裏付けが強く、シンプルで効率的なアルゴリズムを提供すること。

提案手法

• アルゴリズムは、未知の平均を持つn個の分布（アーム）から逐次的にサンプルを抽出するマルチアームバンディットフレームワークを用いる。各アームは帰無仮説（平均 = μ₀）または実際の正の効果（平均 > μ₀）のいずれかである。
• 各時刻で、推定された効果サイズに基づきアームを選択し、逐次的信頼区間を用いて得られた閾値ルールにより発見（予測された陽性）の集合を維持する。
• ベンジャミン＝ホッジスプロシージャーに基づき動的に更新される棄却閾値を用いて、FDR制御を維持する、新しい適応的サンプリングルールを採用する。
• 集中不等式（例：ベルンシュタイン、Dvoretzky-Kiefer-Wolfowitz）を用いて、経験的平均の時間に一様な信頼区間を構築し、任意時FDR制御を可能にする。
• 理論的保証のもとで、目標とする真正陽性率に到達するための合計サンプル数を最小化するように、サンプル割り当てを動的に調整する。FDRと検出力の両方に対する保証が得られる。
• 二進区間の和集合とマルティンググールドを用いて、経験プロセスの高確率的バウンドを導出し、すべての時刻で堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリング戦略は、任意時FDR制御を維持しつつ、一様サンプリングよりも高い統計的検出力を達成できるか？
• RQ2 すべての実際の陽性が同一の効果サイズを持つ場合でも、適応的割り当ては性能上の利点を提供するか？
• RQ3 FDR制御を伴う適応的複数仮説検定における最適なサンプル複雑度は何か？ そして、情報理論的下界と一致するか？
• RQ4 オンラインで逐次的検定を行う設定において、FDRをすべての時刻で一様に制御する方法は何か？
• RQ5 シンプルでバンドイットにインspiredしたアルゴリズムは、サンプル効率性と発見率の観点で近似的に最適な性能を達成できるか？

主な発見

• 提案手法は、FDR制御を伴う複数仮説検定における既知の情報理論的下界と一致するサンプル複雑度を達成する。
• シミュレーションにおいて、一様サンプリングや適応的除去戦略を著しく上回り、より少ないサンプル数で高い真正陽性率を達成する。
• すべての実際の陽性が同一の効果サイズであっても、同じFDR制約下で一様サンプリングに比べて顕著な検出力の優位性を示す。
• アルゴリズムは任意時FDR制御を保証しており、任意の問題インスタンスに関わらず、すべての時刻で期待される誤り発見率がδ以下に保たれる。
• 理論的分析により、一般のサブガウスノイズ下でもFDR制御が維持されることを確認し、マルティンググールドと時間区間の和集合によるバウンドを用いて導出された。
• アルゴリズムのシンプルさと強固な理論的保証により、生物学的応用、臨床試験、オンラインA/B/n実験など、実世界の応用に適している。