[論文レビュー] Asynchronous Online Testing of Multiple Hypotheses

Tijana Zrnic, Aaditya Ramdas+1 more|arXiv (Cornell University)|Dec 12, 2018

Machine Learning and Algorithms参考文献 33被引用数 15

ひとこと要約

本稿は、テスト統計量の局所的依存性のもとで誤り発見率（FDR）を制御する非同期オンライン多重仮説検定の新しいフレームワークを提案する。依存関係を管理するために「競合集合」の抽象化を用い、分散型で重複するテスト環境でも形式的なFDR制御を維持するアルゴリズム（例：SAFFRON$_{\text{dep}}$、LORD$_{\text{dep}}$）を提案し、現実的な依存構造下で既存手法を上回る検出力を持つ。

ABSTRACT

We consider the problem of asynchronous online testing, aimed at providing control of the false discovery rate (FDR) during a continual stream of data collection and testing, where each test may be a sequential test that can start and stop at arbitrary times. This setting increasingly characterizes real-world applications in science and industry, where teams of researchers across large organizations may conduct tests of hypotheses in a decentralized manner. The overlap in time and space also tends to induce dependencies among test statistics, a challenge for classical methodology, which either assumes (overly optimistically) independence or (overly pessimistically) arbitrary dependence between test statistics. We present a general framework that addresses both of these issues via a unified computational abstraction that we refer to as "conflict sets." We show how this framework yields algorithms with formal FDR guarantees under a more intermediate, local notion of dependence. We illustrate our algorithms in simulations by comparing to existing algorithms for online FDR control.

研究の動機と目的

• リアルタイムで分散型かつ重複する仮説検定ストリームにおける誤り発見率（FDR）制御の課題に対処すること。
• 非同期オンライン検定におけるテスト統計量の間の依存関係をモデル化・管理し、独立性仮定の楽観的すぎるものや任意の依存性仮定の過剰に慎重すぎるものとは避けること。
• より現実的で局所的依存構造を想定した状況下で形式的なFDR制御を可能にする統一的な計算抽象化「競合集合」を考案すること。
• 非同期環境下でFDR制御を維持しながら統計的検出力を最大化する実用的アルゴリズム（例：SAFFRON$_{\text{dep}}$、LORD$_{\text{dep}}$）を設計すること。
• 高スループットな表現型スクリーニング（IMPCデータベースからのデータなど）に見られる時間的相関のある仮説を有する実世界データを用いて、フレームワークの有効性を検証すること。

提案手法

• 重複する依存関係を表す計算抽象化として「競合集合」を導入し、各テストの有意水準が過去に完了したテストにのみ依存することを保証する。
• 局所的依存性条件を定義：各テスト $t$ に対して、有限の $L_t$ が存在し、$P_t$ が $s > t + L_t$ に対して $P_s$ と独立であることを満たす。これは時間に伴い弱まる依存性を捉える。
• SAFFRONおよびLORDのオンラインFDR手順を拡張し、競合集合を組み込み、過去の発見数と依存構造に基づいて有意水準を調整する。
• 非定常的状況へのPRDS（部分集合への正の回帰的依存性）条件の拡張により、局所的依存性下での理論的FDR制御保証を導出する。
• 大規模なテストストリームにおいてFDR制御を維持しながら計算効率を向上させるために、アルファインベスのミニバッチ版を採用する。
• 各テスト後に更新される「富」変数を用いて動的に有意水準を調整する富ベースのフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 テスト統計量が独立でない、あるいは任意の依存性を仮定するのではなく、局所的依存性を有する非同期オンライン多重仮説検定において、FDRを形式的に制御できるか。
• RQ2 「競合集合」のような計算抽象化を用いることで、分散型で重複するテストストリームにおける依存関係をどのようにモデル化・管理できるか。
• RQ3 非同期と同期のオンラインFDR手順の間で、統計的検出力と時間効率のトレードオフはどのように変化するか。
• RQ4 提案されたアルゴリズム（SAFFRON$_{\text{dep}}$、LORD$_{\text{dep}}$）は、局所的依存性下で既存手法と比較して実際の性能をどのように発揮するか。
• RQ5 実世界のデータ（例：IMPCマウス表現型スクリーニングデータ）は、時間相関のある仮説を有する場合、どれほど局所的依存性を示し、このフレームワークはそのような構造を適切に処理できるか。

主な発見

• 提案されたフレームワークは、非同期検定においてより現実的であるとされる局所的依存性仮定のもとで、形式的なFDR制御を達成している。
• シミュレーションおよび局所的依存性を有する実データにおいて、SAFFRON$_{\text{dep}}$ および LORD$_{\text{dep}}$ は、標準的なアルファ・スペンディング法やベースラインのオンラインFDR手法を上回る統計的検出力を示した。
• IMPCマウス表現型スクリーニングデータセットを用いた実験では、$\lambda=0.1$ のSAFFRON$_{\text{dep}}$ が、すべての目標FDR水準でLORD$_{\text{dep}}$ やアルファ・スペンディング法よりも多くの発見をした。これは、より高い検出力を示している。
• シミュレーションおよび実世界の事例研究から、テストが時間的に重複し、データを共有する状況下でも、FDR制御が維持されていることが示された。
• シミュレーションにおいてmFDR（修正FDR）推定値がFDRをよく追跡しており、理論的保証の妥当性と有限標本におけるロバストネスを裏付けている。
• 競合集合の使用により、進行中のテスト間の調整を必要とせず、効率的で分散型の意思決定が可能となり、大規模かつリアルタイムの応用にスケーラブルである。