[論文レビュー] Power analysis of knockoff filters for correlated designs

Jingbo Liu, Philippe Rigollet|arXiv (Cornell University)|Oct 28, 2019

Bayesian Modeling and Causal Inference参考文献 11被引用数 6

ひとこと要約

本稿では、相関ガウス設計を伴う高次元線形モデルにおけるノックオフフィルタの一貫性およびパワーを予測するための有効信号不足（ESD）を導入する。精度行列の構造、特に条件付き独立性を通じて、性能が規定されることを示し、ガウス木構造設計に対しては、標準のノックオフフィルタを上回るか同等のパワーを発揮しながらFDR制御を維持する、シンプルで効果的な方法である「条件付き独立ノックオフ」を提案する。

ABSTRACT

The knockoff filter introduced by Barber and Candès 2016 is an elegant framework for controlling the false discovery rate in variable selection. While empirical results indicate that this methodology is not too conservative, there is no conclusive theoretical result on its power. When the predictors are i.i.d. Gaussian, it is known that as the signal to noise ratio tend to infinity, the knockoff filter is consistent in the sense that one can make FDR go to 0 and power go to 1 simultaneously. In this work we study the case where the predictors have a general covariance matrix $Σ$. We introduce a simple functional called effective signal deficiency (ESD) of the covariance matrix $Σ$ that predicts consistency of various variable selection methods. In particular, ESD reveals that the structure of the precision matrix $Σ^{-1}$ plays a central role in consistency and therefore, so does the conditional independence structure of the predictors. To leverage this connection, we introduce Conditional Independence knockoff, a simple procedure that is able to compete with the more sophisticated knockoff filters and that is defined when the predictors obey a Gaussian tree graphical models (or when the graph is sufficiently sparse). Our theoretical results are supported by numerical evidence on synthetic data.

研究の動機と目的

• 相関設計下におけるノックオフフィルタの理論的パワーを理解すること。現有的な結果は限定的である。
• ノックオフフィルタの一貫性およびパワーに影響を与える、設計共分散行列の構造的性質を同定すること。
• 条件付き独立構造を活用して性能を向上させる、新たなノックオフ生成法—「条件付き独立ノックオフ」を考案すること。
• 共分散行列の信号不足を定量化する関数的表現（ESD）を確立し、一貫した変数選択の可能性を予測すること。
• 理論と合成実験を通じて、精度行列の構造、特に条件付き独立性を通じて、ノックオフフィルタの性能が顕著に左右されることを示すこと。

提案手法

• 共分散行列 Σ の関数として有効信号不足（ESD）を導入し、ノックオフフィルタ下での変数選択の一貫性を予測する。
• ガウスグラフィカルモデルに特化した新しいノックオフ生成法—「条件付き独立ノックオフ」を定義する。
• 精度行列 Σ⁻¹ を用いて条件付き独立関係を符号化し、グラフがスパースまたは木構造的である場合にノックオフ生成が可能であることを示す。
• (X, X̃) の同時共分散行列が正半定値を保つための条件を導出する。これにより、有効なノックオフの生成が保証される。
• ハマーслиーの定理を適用し、精度行列の非ゼロ要素のパターンとグラフィカルモデル構造を関連づけ、木構造的条件付き独立性に基づく構築を可能にする。
• 木構造的モデルでは、精度行列の固有多項式が非対角要素の符号反転に対して不変であることを証明し、対称的ノックオフ生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共分散行列 Σ、特にその精度行列 Σ⁻¹ の構造は、相関設計下におけるノックオフフィルタのパワーおよび一貫性にどのように影響を与えるか？
• RQ2 ガウス木モデルのような条件付き独立構造を活用できるシンプルなノックオフ生成法を設計できるか。これにより、FDR制御を損なわずにパワーを向上できるか？
• RQ3 高次元設定下におけるノックオフフィルタの理論的パワーおよび一貫性を予測する、設計行列の関数的表現は何か？
• RQ4 精度行列に符号化された条件付き独立構造は、有効なノックオフの生成および高い統計的パワーの達成に、どの程度影響を与えるか？
• RQ5 合成データ上での性能について、提案された「条件付き独立ノックオフ」は、標準のノックオフフィルタと比較して、パワーおよびFDR制御の両面で優れているか？

主な発見

• 有効信号不足（ESD）は、共分散行列の関数として導入され、ノックオフフィルタの一貫性を予測するものであり、ESDが低いほど高いパワーの潜在的水準を示す。
• 精度行列 Σ⁻¹ の構造、特にその条件付き独立パターンが、ノックオフフィルタの一貫性およびパワーを決定づける中心的役割を果たす。
• ガウス木構造設計では、「条件付き独立ノックオフ」法が高パワーを達成し、FDR制御を維持することができ、しばしば標準のノックオフフィルタを上回る。
• 理論的分析により、精度行列が森（例えば木）に対応する場合、行列の固有多項式が非対角要素の符号反転に対して不変であることが示され、対称的ノックオフ生成が可能になる。
• 信号対雑音比が非常に高い極限において、ESDが低い場合、ノックオフフィルタはFDR制御を満たし、パワーが1に近づくことが確認され、理想条件下での一貫性が裏付けられる。
• 合成データ上の数値実験により理論的予測が妥当であることが検証され、スパースグラフィカルモデルにおいて「条件付き独立ノックオフ」法が標準のノックオフフィルタを上回る高いパワーを達成することが示された。