[論文レビュー] A Power and Prediction Analysis for Knockoffs with Lasso Statistics

Asaf Weinstein, Rina Foygel Barber+1 more|arXiv (Cornell University)|Dec 18, 2017

Statistical Methods in Clinical Trials参考文献 12被引用数 26

ひとこと要約

この論文は、i.i.d. ガウス設計下でのlasso統計量を用いたノックオフ手法のパワーと予測性能を分析する。信号のスパarsityや分布に関する事前知識がなくても、ノックオフ手順は漸近的にほぼ最適なパワーと、真の係数分布の知識を持つオラクルlassoと同等の予測誤差を達成することを示している。

ABSTRACT

Knockoffs is a new framework for controlling the false discovery rate (FDR) in multiple hypothesis testing problems involving complex statistical models. While there has been great emphasis on Type-I error control, Type-II errors have been far less studied. In this paper we analyze the false negative rate or, equivalently, the power of a knockoff procedure associated with the Lasso solution path under an i.i.d. Gaussian design, and find that knockoffs asymptotically achieve close to optimal power with respect to an omniscient oracle. Furthermore, we demonstrate that for sparse signals, performing model selection via knockoff filtering achieves nearly ideal prediction errors as compared to a Lasso oracle equipped with full knowledge of the distribution of the unknown regression coefficients. The i.i.d. Gaussian design is adopted to leverage results concerning the empirical distribution of the Lasso estimates, which makes power calculation possible for both knockoff and oracle procedures.

研究の動機と目的

• 高次元線形モデルにおけるlasso統計量を用いたノックオフ手順の統計的パワーと予測精度を調査すること。
• ノックオフ手法が、第2種の誤り（偽陰性）を最小限に抑える一方で、誤発見率（FDR）をいかに制御するかを評価すること。
• 回帰係数の真の分布を知っている理想化されたオラクルlassoと比較して、ノックオフの性能を評価すること。
• ノックオフフィルタリングが、スパースな高次元設定においてほぼ最適な予測誤差を達成できるかどうかを評価すること。

提案手法

• n, p → ∞ かつ n/p → δ > 0 のi.i.d. ガウス設計下で、lasso推定値の漸近的分布を特徴付けるために、近似メッセージパッシング（AMP）フレームワークを用いる。
• 真の変数とノックオフ変数の交換可能性を介してFDR制御を可能にする、人工的特徴を導入するノックオフ手順を定義する。
• Π* や ε を事前に知らない状況で、Lassoパス上での変数の出現順序に基づいて変数を選択するレベル-q ノックオフ手順を採用する。
• 同じ選択ルールを用いて、FDRを正確に q に保つように λ を選択するオラクルlassoと、ノックオフの性能を比較する。
• リーマン＝スティルチェス積分とリスクおよび尾確率関数の数値積分を用いて、FDRおよび真正陽性割合（TPP）を数値的に計算する。
• Lassoパスのしきい値パラメータを決定するための、α と τ を含む方程式系（4）を導出し、解く。

実験結果

リサーチクエスチョン

• RQ1 Lassoパス選択ルール下で、ノックオフ手順は最適な統計的パワーにどの程度近づくか？
• RQ2 ノックオフフィルタリングは、真の係数分布を知っているオラクルlassoと同等の予測誤差を達成できるか？
• RQ3 特にスパース信号設定において、ノックオフが制御するFDRと達成されるパワーとの間の漸近的関係は何か？
• RQ4 スパarsity や係数分布の事前知識がなければ、ノックオフ手法は未知の信号分布にうまく適応できるか？
• RQ5 FDR制御と真正陽性検出率の両面から、ノックオフの性能はオラクルと比べてどの程度か？

主な発見

• ノックオフ手順は、真の係数分布を知っているオラクルlassoが、目標となるFDRレベル q を正確に達成するように λ を選択するのと同等のパワーに漸近的に近づく。
• スパース信号に対しては、ノックオフフィルタリングがほぼ理想の予測誤差を達成し、係数分布の完全な知識を持つlassoオラクルの性能に近づく。
• ノックオフ手順のパワーは、異なる分布 Π* に対して安定しており、未知の信号特性に強く適応可能であることが示された。
• シミュレーション結果は、ε や Π* を事前に知らない状況でも、ノックオフ手法が、通常関心が寄せられるFDRレベルの範囲でほぼ最適なパワーを達成していることを確認している。
• 図1の理論的漸近的予測では、ノックオフパワーがオラクルパワーをほとんど損なわず、信号分布の事前知識がなくても密接に追従していることが示された。
• ノックオフ手法は、高い統計的パワーを達成しながらも、厳密なFDR制御を維持しており、高次元特徴選択における実用的有用性が裏付けられている。