[論文レビュー] Online control of the false discovery rate with decaying memory

Aaditya Ramdas, Fanny Yang+2 more|arXiv (Cornell University)|Oct 2, 2017

Statistical Methods in Clinical Trials参考文献 6被引用数 20

ひとこと要約

本稿では、動的alpha-ワースト管理を通じてパワーを向上させるオンラインの誤発見率（FDR）制御フレームワークGAI++を提案する。この手法は、ドメイン固有の仮説優先順位付けのための事前重みとペナルティ重みを統合し、時間的検定における「ピッグギバックイング」と「alpha-デス」を解消するための減衰記憶FDR（mem-FDR）を導入する。本手法はFDR制御を保証するとともに、逐次的検定の場面で顕著に統計的パワーを向上させる。

ABSTRACT

In the online multiple testing problem, p-values corresponding to different null hypotheses are observed one by one, and the decision of whether or not to reject the current hypothesis must be made immediately, after which the next p-value is observed. Alpha-investing algorithms to control the false discovery rate (FDR), formulated by Foster and Stine, have been generalized and applied to many settings, including quality-preserving databases in science and multiple A/B or multi-armed bandit tests for internet commerce. This paper improves the class of generalized alpha-investing algorithms (GAI) in four ways: (a) we show how to uniformly improve the power of the entire class of monotone GAI procedures by awarding more alpha-wealth for each rejection, giving a win-win resolution to a recent dilemma raised by Javanmard and Montanari, (b) we demonstrate how to incorporate prior weights to indicate domain knowledge of which hypotheses are likely to be non-null, (c) we allow for differing penalties for false discoveries to indicate that some hypotheses may be more important than others, (d) we define a new quantity called the decaying memory false discovery rate (mem-FDR) that may be more meaningful for truly temporal applications, and which alleviates problems that we describe and refer to as "piggybacking" and "alpha-death". Our GAI++ algorithms incorporate all four generalizations simultaneously, and reduce to more powerful variants of earlier algorithms when the weights and decay are all set to unity. Finally, we also describe a simple method to derive new online FDR rules based on an estimated false discovery proportion.

研究の動機と目的

• 既存のオンラインFDR手順における限界、特に逐次的検定における「ピッグギバックイング」と「alpha-デス」を是正すること。
• 拒絶結果に基づく動的alpha-ワースト管理を通じて、オンライン多重仮説検定における統計的パワーを向上させること。
• 事前重みと誤発見に対する差別のペナルティ重みを用いて、ドメイン固有の知識を仮説検定に統合すること。
• 時間的依存性をより適切に反映するための新しいFDR指標、減衰記憶FDR（mem-FDR）を形式化すること。
• 従来のalphaインベストメントアルゴリズムを統一的かつ一般化し、より強力なフレームワーク（GAI++）にすること。

提案手法

• 拒絶ごとにワーストを増加させる動的alpha-ワースト更新ルールを備えた一般化されたalphaインベストメント（GAI）フレームワークを提案し、単調な手続き全体にわたってパワーを均一に向上させる。
• 仮説が非ノンブルである可能性を反映するための事前重みを導入し、有望な仮説に対してより高い有意水準を設定可能にする。
• 誤発見の結果の差別の重みを統合し、仮説ごとの誤検出許容度を異なるリスクプロファイルに合わせて調整可能にする。
• 時間的経過に伴い古い発見の影響を軽減するために指数関数的減衰を用いた新しいFDR指標であるmem-FDRを定義する。
• 推定された誤発見率の割合に基づく新しいオンラインFDRルールのクラスを導出し、逐次的検定における適応的しきい値設定を可能にする。
• マルティンググールの議論と再帰的ワーストダイナミクスを用いて理論的FDR制御を確立し、mem-FDRが新しいGAI++ルールのもとでαの上限に抑えられることを証明する。

実験結果

リサーチクエスチョン

• RQ1 理論的保証を維持したまま、オンラインFDR制御をよりパワー向上させることは可能か？
• RQ2 仮説の非ノンブル性に関する事前知識を、オンラインFDR手順に体系的に統合することは可能か？
• RQ3 ペナルティ重みを用いて、逐次的検定における誤発見のコスト差をモデル化できるか？
• RQ4 減衰記憶メカニズムは、オンラインFDR制御における「ピッグギバックイング」と「alpha-デス」を緩和できるか？
• RQ5 既存のオンラインFDRルールを一般化し、性能を向上させる統一的フレームワークを構築できるか？

主な発見

• 拒絶ごとにalpha-ワーストを増加させるため、GAI++フレームワークは、すべての単調な一般化されたalphaインベストメント手続きに対して一様にパワーを向上させ、最近の文献におけるジレンマを解消する。
• 事前重みを組み込むことで、非ノンブル仮説がテスト順序で優先される場合、発見数の期待値が上昇する。
• ペナルティ重みにより、臨床試験における安全性の優先度など、アプリケーション固有のリスクプロファイルに合わせた柔軟なFDR制御が可能になる。
• 減衰記憶FDR（mem-FDR）指標は、「ピッグギバックイング」（遅延した誤発見）と「alpha-デス」（最終的alpha-ワーストの枯渇）の両方を効果的に緩和する。特に長期間または無限にわたる検定系列で顕著な効果を示す。
• 理論的分析により、GAI++は、i.i.d.でないp値と時間依存しきい値が存在する状況でも、帰無仮説のもとでmem-FDRがαのレベルに抑えられることを証明した。
• 付録の数値シミュレーションにより、情報的重みと減衰を組み込んださまざまな設定下で、GAI++がベースラインのオンラインFDR手法よりも高い発見率を達成することが確認された。