[論文レビュー] Auto-Encoding Knockoff Generator for FDR Controlled Variable Selection

Ying Liu, Cheng Zheng|arXiv (Cornell University)|Sep 27, 2018

Machine Learning and Data Classification参考文献 8被引用数 17

ひとこと要約

本稿では、高次元データにおけるFDR制御された変数選択を可能にする、モデルフリーなノックオフ生成器を提案する。条件付き変分オートエンコーダ（CAT-VAE）を用いて特徴量間の相関構造を保持する潜在表現を学習することで、ガウス分布およびバイナリ分布のシミュレーション、さらには実世界のHIV薬剤耐性データにおいても、優れた検出力と正確なFDR制御を達成した。

ABSTRACT

A new statistical procedure (Model-X \cite{candes2018}) has provided a way to identify important factors using any supervised learning method controlling for FDR. This line of research has shown great potential to expand the horizon of machine learning methods beyond the task of prediction, to serve the broader needs in scientific researches for interpretable findings. However, the lack of a practical and flexible method to generate knockoffs remains the major obstacle for wide application of Model-X procedure. This paper fills in the gap by proposing a model-free knockoff generator which approximates the correlation structure between features through latent variable representation. We demonstrate our proposed method can achieve FDR control and better power than two existing methods in various simulated settings and a real data example for finding mutations associated with drug resistance in HIV-1 patients.

研究の動機と目的

• モデルXフレームワークにおける実用的で柔軟なノックオフ生成のための重要なギャップを埋めること。これはFDR制御された変数選択に不可欠である。
• 特定のパラメトリックモデルを仮定せずに、あらゆるデータタイプのノックオフを生成できるモデルフリーな手法を開発すること。
• 特に条件付きVAEを用いた深層生成モデルを活用し、特徴量の結合相関構造を近似することでノックオフを構築すること。
• 生成されたノックオフが、モデルXフレームワークで求められる交換可能性（exchangeability）および条件付き独立性の性質を満たすようにすること。
• 既存の固定型および2次ノックオフ手法と比較して、より高い統計的検出力と正確なFDR制御を達成できることを示すこと。

提案手法

• 特徴量$X$の結合分布をモデル化し、潜在変数$Z$を介してノックオフ$\tilde{X}$を生成するための条件付き変分オートエンコーダ（CAT-VAE）を提案。この際、$X - \text{f}(Z)$の最小化を保証する。
• 微小なノイズ$\epsilon$を用いた摂動に基づくノックオフ生成戦略を実装。$\hat{f}(\tilde{Z})$から$\tilde{X}$を生成することで、交換可能性の性質を満たす。
• 潜在空間$Z$を用いて$X$の相関構造を保持し、ノックオフが元の特徴量の周辺および条件付き依存構造を模倣できるようにする。
• 深層生成モデルを用いて$q_\epsilon(\tilde{X} | X)$を学習し、スワップ操作において$\tilde{X}$が$X$と交換可能となるようにし、モデルXノックオフの定義を満たす。
• スイッチング操作に特徴量統計量$W_j$を適用し、その符号反転性（flip-sign property）を満たすことで、負の統計量と正の統計量の比に基づくしきい値によるFDR制御を可能にする。
• KnockoffおよびKnockoff+手順を用いて、それぞれ修正FDRおよび標準FDRを制御し、偽発見数と真の発見数の比に基づいたしきい値選択を実施する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルを用いて、高次元特徴量の相関構造を保持するモデルフリーなノックオフを構築可能か？
• RQ2 提案されたCAT-VAEベースのノックオフ生成器は、ガウス分布およびバイナリアウトカムを含む多様なデータタイプにおいて、正確なFDR制御を達成できるか？
• RQ3 信号強度や相関の程度が変化する条件下で、提案手法の検出力は、既存の固定型および2次ノックオフ生成器と比較してどのように異なるか？
• RQ4 本手法は、HIV-1薬剤耐性変異の同定など、実世界の生物学的データに効果的に適用可能か？また、再現性と信頼性のある選択が可能か？
• RQ5 VAEにおける潜在表現が、パラメトリック代替手法と比較して、ノックオフ生成の質および統計的妥当性をどの程度向上させるか？

主な発見

• ガウス分布シミュレーションにおいて、強い信号（$\rho = 10$）を検出する際、提案手法の検出力は80%に達し、固定型および2次ノックオフ手法を上回った。
• バイナリアウトカムのシミュレーションでは、既存手法の2倍以上の検出力を示し、弱い信号およびスパースな信号の検出感度が優れていた。
• 実際のHIV-1薬剤耐性データでは、FDRを0.2に制御した状態で、平均して75.3%の真の信号変異（TSMs）を同定した。これは高い再現性と正確性を示している。
• より保守的でないKnockoff手順を用いた場合、他の手法よりも多くの変異が選択されたが、FDR制御を維持しており、KnockoffとKnockoff+の選択に対する感受性も低かった。
• テストした7種類の薬剤すべてで安定した性能を示し、複数のケースで最多のTSMsが選択された（例：RTVでは38/48、SQVでは39/52、Knockoff+を用いた場合）。
• 理論的分析により、$X - \hat{f}(Z)$と$\tilde{X} - \hat{f}(\tilde{Z})$の密度が近い場合、FDR制御が維持されることを確認。これにより、摂動に基づく生成戦略の有効性が裏付けられた。