[論文レビュー] ADDIS: an adaptive discarding algorithm for online FDR control with conservative nulls

Jinjin Tian, Aaditya Ramdas|arXiv (Cornell University)|May 27, 2019

Statistical Methods in Clinical Trials参考文献 11被引用数 9

ひとこと要約

本稿では、保守的であることが一般的な現実世界の状況において、帰無p値が一様分布よりも確率的に大きく（stochastically larger）なる場合に、有意な検出力の損失を回避するための、オンラインの誤り発見率（FDR）制御のための適応的排除アルゴリズムADDISを提案する。ADDISは、非有意なp値を戦略的に除外し、適応的閾値を活用することで、SAFFRON や LORD++ と比較して、帰無p値が保守的である場合に顕著な検出力の向上を達成する。一方、帰無p値が一様である場合の性能を損なうことなく、保証されたFDR制御を維持する。

ABSTRACT

Major internet companies routinely perform tens of thousands of A/B tests each year. Such large-scale sequential experimentation has resulted in a recent spurt of new algorithms that can provably control the false discovery rate (FDR) in a fully online fashion. However, current state-of-the-art adaptive algorithms can suffer from a significant loss in power if null p-values are conservative (stochastically larger than the uniform distribution), a situation that occurs frequently in practice. In this work, we introduce a new adaptive discarding method called ADDIS that provably controls the FDR and achieves the best of both worlds: it enjoys appreciable power increase over all existing methods if nulls are conservative (the practical case), and rarely loses power if nulls are exactly uniformly distributed (the ideal case). We provide several practical insights on robust choices of tuning parameters, and extend the idea to asynchronous and offline settings as well.

研究の動機と目的

• 帰無p値が一様分布よりも確率的に大きく（stochastically larger）なる場合に、既存のオンラインFDR制御手法が示す検出力の損失を是正すること。これは一般的な実務的問題である。
• 帰無p値が保守的である状況でも、最先端の手法を上回る高い統計的検出力を達成しながら、保証されたFDR制御を維持するアルゴリズムの開発。
• 多様な帰無分布にわたる一貫したパフォーマンスを確保するためのロバストなチューニングパrameter選定。
• 標準的なオンライン設定に加え、非同期的およびオフライン設定へのフレームワークの拡張。

提案手法

• ADDISは、閾値τより大きいp値を今後の検討から除外する排除機構を導入し、発見数を減らし、FDRのリソースを節約する。
• 累積的な発見履歴と財産蓄積メカニズムに基づく、変更されたアルファインベストメントフレームワークを用い、適応的閾値αₜを導入する。
• 過去の発見と除外の履歴に基づき、動的に拒否閾値を調整するための三段階の閾値戦略を採用し、λ ∈ [α, τ) と τ を用いる。
• 一様に保守的である帰無分布（累積分布関数が凸である）の性質を活用し、期待FDRがα以下に保たれることを保証する。
• 過去の発見を重みづけする非増加的かつ可summableな列{γⱼ}を用い、再帰的財産更新ルールによりFDRを制御する。
• 理論的分析により、帰無p値が正確に一様でない場合であっても、一様に保守的帰無分布の仮定のもとで、ADDISがFDRを制御することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 帰無p値が保守的である場合に、オンラインFDR制御アルゴリズムが強力なFDR制御を維持しながら、より高い検出力を達成できるか。
• RQ2 非有意なp値の排除を、FDR制御を損なわずに適応的FDR手順に統合できるか。
• RQ3 多様な帰無分布にわたる一貫したパフォーマンスを確保するためのロバストなチューニングパrameter選定（τ, λ）は何か。
• RQ4 ADDISフレームワークは、標準的なオンライン設定を超えて、非同期的およびオフラインのテスト設定へ拡張可能か。

主な発見

• 帰無p値が保守的である場合、ADDISはSAFFRON や LORD++ に対して顕著な検出力の向上を達成しており、さまざまな設定におけるシミュレーションでもその改善が確認された。
• 帰無p値が一様分布に従う理想状況では、ADDISは既存手法と比較してほとんど検出力を損なわず、ほぼ最適なパフォーマンスを維持する。
• 一様に保守的帰無分布の仮定のもとで、ADDISはFDRをレベルαで保証的に制御する。これは、真の帰無分布が正確に一様でない場合でも成立する。
• g∘Fのヒートマップ分析により、異なるパrameter設定（μₙ, μₐ, πₐ）において一貫した挙動が示され、モデルの不適合に対してもロバストであることが示された。
• 理論的分析により、保守的p値の単調性および凸性の性質のおかげで、排除機構がFDR制御を損なわないことが確認された。