[論文レビュー] Improving knockoffs with conditional calibration

Yixiang Luo, William Fithian+1 more|arXiv (Cornell University)|Aug 19, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、条件付きキャリブレーションを用いたフォールバックテストフレームワークを統合することで、高次元線形モデルにおける誤発見率（FDR）制御のためのノックオフフィルタのパワーを一様に向上させる、キャリブレートド・ノックオフ（cKnockoff）手順を導入する。スパースな設定—特に非ノンゼロ変数の数が $1/\alpha$ の閾値に近い場合—において顕著に性能向上を達成し、有限標本におけるFDR制御を維持するとともに、困難な状況下でノックオフとBenjamini-Hochbergを上回る。

ABSTRACT

The knockoff filter of Barber and Candes (arXiv:1404.5609) is a flexible framework for multiple testing in supervised learning models, based on introducing synthetic predictor variables to control the false discovery rate (FDR). Using the conditional calibration framework of Fithian and Lei (arXiv:2007.10438), we introduce the calibrated knockoff procedure, a method that uniformly improves the power of any fixed-X or model-X knockoff procedure. We show theoretically and empirically that the improvement is especially notable in two contexts where knockoff methods can be nearly powerless: when the rejection set is small, and when the structure of the design matrix in fixed-X knockoffs prevents us from constructing good knockoff variables. In these contexts, calibrated knockoffs even outperform competing FDR-controlling methods like the (dependence-adjusted) procedure Benjamini-Hochberg in many scenarios.

研究の動機と目的

• ノックオフフィルタにおける「閾値現象」—非ノンゼロ変数の数が $1/\alpha$ 未満になるとパワーが急激に低下し、スパースな設定でノックオフがほとんど無力化する—を是正すること。
• 有限標本におけるFDR制御を維持しつつ、いかなるノックオフ手順のパワーを一様に向上させる方法を開発すること。
• 信号強度が低いか予測子行列の相関が高い設定において、ノックオフとBenjamini-Hochbergの両方の代替として頑健な代替手法を提供すること。
• HIV薬物耐性研究など、非ノンゼロ変数が限られている現実のデータにおいて、ノックオフベースの推論を実用的に導入できることを可能にすること。

提案手法

• cKnockoff手順は、ノックオフによって選択されなかった変数に対して「フォールバックテスト」を適用することで、基本的なノックオフ手順の棄却集合を拡張する。
• FithianとLei（2022）の条件付きキャリブレーションフレームワークを用いて、フォールバックテストの有意水準を設定し、FDR制御を損なわないようにする。
• フォールバックテストはノックオフ統計量に条件付けられてキャリブレートされ、全体の手順がレベル $\alpha$ で有限標本におけるFDR制御を維持することを保証する。
• 固定$X$ノックオフに対しては、並列処理や最適化された検定統計量といった効率的な計算テクニックを用いて実装する。
• モデル$X$ノックオフでは、予測子の連合分布に関する仮定の違いから、わずかな修正と異なる計算戦略を要する。
• 同じデータと仮定のもとで、すべての問題設定において元のノックオフフィルタよりも厳密にパワーが高いように設計されている。

実験結果

リサーチクエスチョン

• RQ1 有限標本におけるFDR制御を維持しつつ、ノックオフフィルタのパワーを一様に向上させる手法を開発できるか？
• RQ2 非ノンゼロ変数の数が $1/\alpha$ に近い場合、ノックオフの性能がどのように低下するか、そしてその劣化を軽減できるか？
• RQ3 ノックオフ統計量に条件付けられたフォールバックテストは、FDRを上昇させることなく、発見パワーを向上させられるか？
• RQ4 低信号強度または高相関を示すスパースな設定下で、cKnockoffはノックオフとBenjamini-Hochbergの両方を上回るか？
• RQ5 キャリブレートド・ノックオフ手順は、HIV薬物耐性解析のような高次元設定でも実用的に効率的に実装可能か？

主な発見

• cKnockoffは、すべての問題設定において元のノックオフフィルタを一様に上回るパワー向上を達成し、特にノックオフがほとんど無力化するスパースな設定で最大の利得が得られた。
• HIV耐性データセット（$\alpha = 0.05$）では、ノックオフはほとんど変数を棄却しなかったが、cKnockoffとcKnockoff*は顕著な数の発見を達成し、ノックオフを著しく上回った。
• cKnockoffはTSMパネルにおいてノックオフよりも高い再現性を示し、薬物耐性に関連すると知られている変異をより多く同定した。
• $\alpha = 0.2$ の場合、ノックオフがもはや無力でなくなった状況でもcKnockoffは高いパワーを維持し、FDRレベルにわたる頑健性を示した。
• cKnockoffの計算コストはノックオフのわずか数倍であり、並列化によりさらに高速化可能で、実用的用途に適している。
• 低信号・高相関の設定下では、cKnockoffはノックオフとBenjamini-Hochbergの両方を上回り、特にBHが高い誤発見率を示す場合に顕著であった。