[論文レビュー] Knockoffs for the mass: new feature importance statistics with false discovery guarantees

Jaime Roquero Gimenez, Amirata Ghorbani+1 more|arXiv (Cornell University)|Jul 17, 2018

Bayesian Modeling and Causal Inference被引用数 20

ひとこと要約

本稿は、ベイジアンネットワークから有効なノックオフ特徴量を生成する新規で効率的な手法を導入し、高次元特徴選択における誤発見率（FDR）の制御を可能にする。交換統計量（Swap Integral）を提案し、実データおよび合成データにおいて、既存手法を著しく上回る検出力（パワー）を達成する。これにより、ニューラルネットワークなどのブラックボックスモデルを用いた特徴選択が、特徴分布の正しいモデル化のもとで統計的保証を維持しながらも、堅牢に実現可能となる。

ABSTRACT

An important problem in machine learning and statistics is to identify features that causally affect the outcome. This is often impossible to do from purely observational data, and a natural relaxation is to identify features that are correlated with the outcome even conditioned on all other observed features. For example, we want to identify that smoking really is correlated with cancer conditioned on demographics. The knockoff procedure is a recent breakthrough in statistics that, in theory, can identify truly correlated features while guaranteeing that the false discovery is limited. The idea is to create synthetic data -- knockoffs -- that captures correlations amongst the features. However there are substantial computational and practical challenges to generating and using knockoffs. This paper makes several key advances that enable knockoff application to be more efficient and powerful. We develop an efficient algorithm to generate valid knockoffs from Bayesian Networks. Then we systematically evaluate knockoff test statistics and develop new statistics with improved power. The paper combines new mathematical guarantees with systematic experiments on real and synthetic data.

研究の動機と目的

• 実用的ノックオフ適用の2大障壁、すなわち計算的に扱えるノックオフ生成法と、強力でモデルに依存しない検定統計量の両方を克服すること。
• 多変量正規分布に限定されない柔軟な非正規特徴分布からの有効なノックオフ生成のためのフレームワークを構築すること。ベイジアンネットワークを用いて実現。
• 特に非線形および複雑なモデル（例：ニューラルネットワーク）における特徴重要度統計量の系統的評価と改善を図ること。
• 正確な真のデータ分布の代わりに近似分布（混合モデル）を用いてノックオフを生成する場合でも、FDRを確実に制御できるようにすること。
• 市販の分類器を用いて、実世界のデータセットにおいて実用的かつ統計的に保証された特徴選択を可能にすること。

提案手法

• 条件付き独立構造を活用した、ベイジアンネットワークにおける計算的に扱えるノックオフサンプリングアルゴリズムを提案。多変量正規分布に制限されない、有効なノックオフ生成を可能にする。
• オリジナル特徴と交換された特徴の予測値の差を、特徴交換の系列にわたり統合することで、特徴重要度を測定する新しい検定統計量「Swap Integral」を考案。
• ガウス・ミックスチャネル・モデル（GMM）としてモデル化されたデータにノックオフフレームワークを適用。$ P^X $ の最適な成分数の選定にはAICを用いる。
• 後処理アプローチを採用：任意のブラックボックス分類器（例：ニューラルネットワーク、ランダムフォレスト）を事前に学習させ、その後に訓練済みモデルに対してSwap Integralを適用し、特徴重要度スコアを算出。
• 既存のノックオフサンプリング手法を一般化する統一フレームワークを採用。$ P^X $ の近似が十分に正確であれば、モデル誤り指定下でもFDR制御が可能となる。
• 合成データ（既知の非ノンサル特徴を有する）および実世界のデータセット（UK Biobank、Bank Marketing、Polish Bankruptcy）を用いた、繰り返しサンプリングとパワー/FDR評価を含む広範な実験により、手法の妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークから、非正規特徴依存構造を有する複雑な設定においても、効率的かつ有効なノックオフサンプリングが可能か？
• RQ2 提案されたSwap Integral統計量は、非線形および高次元設定において、既存のノックオフ検定統計量を著しく上回る統計的パワーを達成するか？
• RQ3 GMMなどの混合モデルから生成されたノックオフを用いる場合、特に実世界データにおいて、真の $ P^X $ が正確に得られない状況でもFDRを信頼性高く制御できるか？
• RQ4 ブラックボックスモデルを用いた実世界データセットにおいて、Swap Integralの性能はLASSOベースや他の非線形統計量と比較してどうか？
• RQ5 ノックオフベースの特徴選択は、真のラベルが存在しない状況でも、生物学的または経済的に意味のある特徴を同定できる程度まで到達するか？

主な発見

• 提案されたベイジアンネットワークからのノックオフサンプリング手法は、多変量正規分布やHMMに限定される従来手法が失敗する非正規分布 $ P^X $ の設定においても、有効なノックオフを生成できることを示した。
• 5、10、20個の多変量正規分布の混合を含む合成データにおいて、Swap Integralは、すべてのターゲットFDRレベルで、LASSOベースや他の非線形統計量を上回る一貫した高いパワーを達成した。
• 実世界のデータセット（UK Biobank、Bank Marketing、Polish Bankruptcy）において、Swap Integralは他の手法と同等以上、場合によっては顕著に高いパワーを示した。特に高いターゲットFDRレベルで顕著な優位性を示した。
• ガウス・ミックスチャネル・ノックオフを用いた場合、ターゲットレベル（例：0.2）で実効的FDRが制御された。一方、単一の多変量正規分布モデルではFDR制御に失敗（実効的FDR：0.5565）しており、$ P^X $ の正確なモデリングの重要性を示した。
• 真のラベルが存在する状況で、ノックオフ手順は生物学的・経済的に妥当な特徴（例：喫煙頻度、ワイン摂取量、売上総利益、短期負債）を選択した。これは先行研究と整合的であり、実用的価値を示している。
• Swap Integral統計量は、訓練済みモデルに対する後処理として計算効率が良く、再訓練を必要とせず、4層のニューラルネットワークのような複雑なモデルにも容易に適用可能である。