[論文レビュー] Dynamic Algorithms for Online Multiple Testing

Ziyu Xu, Aaditya Ramdas|arXiv (Cornell University)|Oct 26, 2020

VLSI and Analog Circuit Testing参考文献 15被引用数 7

ひとこと要約

本稿では、False Discovery Exceedance (FDX) を顕著に高い統計的パワーで制御する動的オンライン多重仮説検定アルゴリズムであるSupLORDを紹介する。適応的で資産に基づく閾値調整を可能にすることで、SupLORDは停止時における保証付きのFDR制御を達成し、これは停止時におけるFDR制御を保証する非自明なアルゴリズムとして初めてのものである。同時に、FDR、FDX、SupFDRの同時制御も可能である。

ABSTRACT

We derive new algorithms for online multiple testing that provably control false discovery exceedance (FDX) while achieving orders of magnitude more power than previous methods. This statistical advance is enabled by the development of new algorithmic ideas: earlier algorithms are more "static" while our new ones allow for the dynamical adjustment of testing levels based on the amount of wealth the algorithm has accumulated. We demonstrate that our algorithms achieve higher power in a variety of synthetic experiments. We also prove that SupLORD can provide error control for both FDR and FDX, and controls FDR at stopping times. Stopping times are particularly important as they permit the experimenter to end the experiment arbitrarily early while maintaining desired control of the FDR. SupLORD is the first non-trivial algorithm, to our knowledge, that can control FDR at stopping times in the online setting.

研究の動機と目的

• オンライン多重仮説検定における確率的誤差制御の欠如に対処するため、偽発見率の尾確率を制限するFDX制御を導入する。
• 逐次的検定中に蓄積された統計的「資産」に適応しない静的アルファインベスティングアルゴリズムの限界を克服する。
• 歴史的パフォーマンスと残りのアルファ予算に基づいてテスト水準を調整することで、パワーを向上させる動的スケジューリングの枠組みを開発する。
• オンライン設定において、停止時におけるFDR制御を初めて厳密に保証する。これにより、誤差保証を損なわずに早期終了が可能になる。
• SupLORDが同時にFDX、FDR、SupFDRを制御できることを示し、逐次的仮説検定における統一的かつ強固な誤差制御フレームワークを提供する。

提案手法

• 蓄積された資産に基づいて有意水準を調整できる、動的スケジューリングを可能にする一般化アルファインベスティング（GAI）フレームワークを提案する。
• 動的GAIの具体的な実装として、FDX制御とパワー最大化のトレードオフに基づくブースティング列を用いたSupLORDアルゴリズムを導入する。
• 資産に基づくアルファ消費ルールを定式化し、動的に有意水準を割り当てることで、過去のテストが有意でない場合にパワーを向上させ、発見が得られた場合にはアルファを節約する。
• 時間に一様な濃度不等式を活用して、FDPに対する有効な非漸近的バウンドを導出し、高い確率でFDX制御を実現する。
• 任意の停止ルール下でも期待FDPが有界であることを示すことで、SupLORDが停止時におけるFDR制御を保証できることを証明する。
• SupFDR制御をSupLORDに統合し、FDPが低くなると予想される状況でより緊密な誤差制御を実現し、さまざまなデータ環境におけるロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 蓄積された資産に基づくテスト水準の動的調整は、FDX制御を維持したままオンライン多重仮説検定における統計的パワーを向上させることができるか？
• RQ2 意思決定が取り消し不能で、事前に仮説数が不明なオンライン多重仮説検定設定において、停止時におけるFDR制御を達成することは可能か？
• RQ3 多様なデータ分布において、動的スケジューリングは静的アルファインベスティングルールと比較して、パワーと誤差制御の両面で優れているか？
• RQ4 1つのアルゴリズムが同時にFDX、FDR、SupFDRを制御可能であり、パrameterチューニングにおけるトレードオフは何か？
• RQ5 動的スケジューリングにおいて、パラメータηとρを最適に設定する戦略は何か？ これによりパワーを最大化しながら誤差制御を維持できるか？

主な発見

• 合成実験において、SupLORDは従来のFDX制御アルゴリズムと比較して、桁違いに高いパワーを達成し、顕著な実験的利得を示した。
• SupLORDは、オンライン設定において停止時におけるFDR制御を保証する最初のアルゴリズムであり、誤差制御を損なわずに早期終了が可能である。
• 動的スケジューリングフレームワークにより、理論的アルファ予算と実際の使用量の差が縮小され、静的ルールと比較してより効率的かつ強力な検定が実現された。
• SupLORDは同時にFDX、FDR、SupFDRを制御でき、逐次的仮説検定における複数の誤差指標を統合的に制御するソリューションを提供する。
• 数値シミュレーションでは、SupLORDが重尾分布を示すp値分布や隠れマルコフモデル下でも強固なFDX制御を維持しており、従属構造へのロバストネスを示している。
• 実データ上でもアルゴリズムの性能が妥当性を確認され、バイオメディカル研究やA/Bテストなど、逐次的意思決定が重要な応用分野における実用的有用性が裏付けられた。