[論文レビュー] BONuS: Multiple multivariate testing with a data-adaptivetest statistic

Chiao-Yu Yang, Lihua Lei+2 more|arXiv (Cornell University)|Jun 29, 2021

Statistical Methods in Clinical Trials参考文献 33被引用数 4

ひとこと要約

BONuS は、全データセットから最適な p 値変換を学習することで、有限標本においても誤発見率（FDR）を厳密に制御する、データに適応する経験的ベイズ枠組みであり、多変量多重検定の統計的パワーを向上させる。モデルの誤指定下でも有効であり、マスクされたデータスキームにより、FDR 制御を損なわずに相互にモデル構築が可能である。

ABSTRACT

We propose a new adaptive empirical Bayes framework, the Bag-Of-Null-Statistics (BONuS) procedure, for multiple testing where each hypothesis testing problem is itself multivariate or nonparametric. BONuS is an adaptive and interactive knockoff-type method that helps improve the testing power while controlling the false discovery rate (FDR), and is closely connected to the "counting knockoffs" procedure analyzed in Weinstein et al. (2017). Contrary to procedures that start with a $p$-value for each hypothesis, our method analyzes the entire data set to adaptively estimate an optimal $p$-value transform based on an empirical Bayes model. Despite the extra adaptivity, our method controls FDR in finite samples even if the empirical Bayes model is incorrect or the estimation is poor. An extension, the Double BONuS procedure, validates the empirical Bayes model to guard against power loss due to model misspecification.

研究の動機と目的

• 高次元または非パラメトリックなデータを含む各仮説が関与する多重検定の場面において、アグノスティックな多変量検定の低パワー問題に対処すること。
• 仮説全体の統合的分布から最適な検定統計量を学習し、仮説間の平均パワーを向上させること。
• 経験的ベイズモデルが誤って指定されたり、うまく推定されたりした場合でも、有限標本における FDR 制御を保証すること。
• 分析者が合成コントロールを用いて検定統計量を段階的に改善できる、堅牢で相互作用可能なフレームワークを提供すること。

提案手法

• BONuS は、n 個の多変量仮説すべてにわたる情報をプールすることで、データに適応する p 値変換を推定する、ノルム統計量のバッグアプローチを用いる。
• 一部のデータを分析者から非表示にするマスクドデータスキームを採用し、FDR 制御を維持したまま安全に相互作用的なモデル適合が可能になる。
• FDP推定量が事前に指定された α 水準を下回る最大の領域を選択することで、入れ子の棄却領域の最適な系列を推定する。
• 経験的ベイズモデルを用いて、帰無仮説からの逸脱の最も関連性の高い方向性を特定する、代替パラメータの事前分布をデータから学習する。
• ダブル BONuS 拡張では、交差検証に類似した検証を用いて複数のモデルをテストし、最も優れた性能を示すモデルを選択することで、モデルの誤指定に対する耐性を高める。
• 多変量正規分布および多項分布の設定では、BONuS は頑健な共分散推定と合成コントロール生成を用いて、従属構造下でも有効な帰無分布を構築する。

実験結果

リサーチクエスチョン

• RQ1 アグノスティック手法（例：GLRT）と比較して、データに適応する検定統計量が、特に低次元設定において多変量多重検定のパワーを顕著に向上させるか？
• RQ2 経験的ベイズ事前分布モデルが誤っているか、うまく推定されていなくても、BONuS 手順が有限標本における FDR 制御を維持するか？
• RQ3 BONuS は、多変量表現型を伴う全ゲノム関連解析（GWAS）のような実世界の応用において、どのように性能を発揮するか？
• RQ4 ダブル BONuS 手順は、モデル検証を通じてモデルの誤指定に起因するパワー損失を効果的に防げるか？
• RQ5 信号がスパースで方向的である場合、BONuS は、ベイジアン・ホッジバーグ（Benjamini-Hochberg）のような標準的手法をどの程度上回るか？

主な発見

• 10次元のガウス分布シミュレーションでは、信号方向のプラグイン推定値を用いた BONuS が、ほぼオラクルレベルのパワーを達成し、GLRT やアグノスティック手法を著しく上回った。
• 多重検定の文脈において、BONuS は GLRT 統計量を用いた Benjamini-Hochberg 手順よりも顕著に高い真正発見率を達成したが、特に α 水準が低い場合に顕著であった。
• 代謝症候群の GWAS では、BONuS がアグノスティック手法よりも多くの発見を検出できたが、SNP あたりの効果のスパarsity が予想されるため、増加幅は測定可能ではあるがやや限定的であった。
• ダブル BONuS 手順は、複数のモデルを検証し、最も優れた性能を示すモデルを選択することで、モデル誤指定に起因するパワー損失を低減するという観点で、堅牢性を示した。
• BONuS は、経験的ベイズモデルが誤って指定された場合でも、すべての実験で有限標本における FDR 制御を維持した。これは、理論的な耐性を裏付けるものであった。
• 多項分布および GWAS 応用において、依存構造下でも性能が安定しており、頑健な共分散推定が有効な合成コントロールの構築を可能にした。