[論文レビュー] A Selective Approach to Internal Inference

Samuel M. Gross, Jonathan Taylor+1 more|arXiv (Cornell University)|Oct 2, 2015

Statistical Methods and Inference参考文献 11被引用数 3

ひとこと要約

本稿は、同一のデータセットをモデル構築と推論の両方に使用する高次元遺伝子発現データから得られるバイオマーカー・サインチャープの予測的有意性を公平に評価する選択的仮説検定フレームワークを提案する。特徴量のアクティブ集合に関する条件付き推論により選択バイアスを補正することで、有意水準を制御し、特に固定されたλを用いたlassoによるサインチャープ学習において、サンプル分割法よりも検出力が優れている。

ABSTRACT

A common goal in modern biostatistics is to form a biomarker signature from high dimensional gene expression data that is predictive of some outcome of interest. After learning this biomarker signature, an important question to answer is how well it predicts the response compared to classical predictors. This is challenging, because the biomarker signature is an internal predictor -- one that has been learned using the same dataset on which we want to evaluate it's significance. We propose a new method for approaching this problem based on the technique of selective inference. Simulations show that our method is able to properly control the level of the test, and that in certain settings we have more power than sample splitting.

研究の動機と目的

• 内部予測子（評価に使用した同一データセットから学習されたバイオマーカー・サインチャープ）に対する妥当な統計的仮説検定を実現すること。標準的検定では選択バイアスのため有意水準が上昇する問題を解決する。
• 高次元バイオマーカー・サインチャープが年齢・体重などの標準的臨床予測子を超えて予測的価値を提供するかどうかを、同一データセットから得たものであるにもかかわらず、公平に評価する方法を開発すること。
• サンプル分割法や事前検証といった従来手法を改善し、すべてのデータを効率的に使用しながら適切な誤差率制御を維持する方法を提供すること。
• 固定されたλを用いたlassoベースのサインチャープ選択に特化した、内部予測の文脈における選択的仮説検定技術を拡張すること。
• 現代の生物統計学で一般的な高次元設定において、内部予測子の有意性を評価する実用的で計算的に実行可能な手法を提供すること。

提案手法

• 本手法は、同一のデータセット上で学習されたlassoモデルから得られる内部予測子 $\hat{y}$ の有意性に対する妥当なp値を、選択的仮説検定を用いて計算する。
• 選択イベント（具体的にはlassoが選択した特徴量）を条件として、テスト統計量の正確な条件付き分布を、アクティブ集合 $\hat{E}$ に対して導出する。
• テスト統計量 $\hat{y}$ は、線形モデル $y = \theta\hat{y} + Z\gamma + \epsilon$ に基づき、帰無仮説 $H_0: \theta = 0$ の下で $\theta$ を検定する。
• テスト統計量と選択イベントの同時分布を導出し、帰無仮説下での条件付き分布からのサンプリングにより、正確なp値を算出可能にする。
• 選択された予測子 $X_{\hat{E}}$ の含め方を検定するための解析的解を提供し、コストの高いサンプリングを回避することで計算効率を向上させる。
• 仮説が有望である場合にはデータカービングを適用し、より多くのデータを検定に割り当てることで、有意水準を上昇させることなく検出力を高める。

実験結果

リサーチクエスチョン

• RQ1 同一のデータセットから学習されたバイオマーカー・サインチャープに対して、選択的仮説検定を用いて妥当な統計的仮説検定を実施できるか？
• RQ2 本手法は、サンプル分割法や事前検証と比較して、有意水準制御および統計的検出力の点でどのように異なるか？
• RQ3 予測子が固定されたλを用いたlassoで導出された場合、本手法は適切な誤差率を維持するのか。また、選択バイアスはどのように処理されるか？
• RQ4 本手法は、単にフィットした $\hat{y}$ ではなく、選択された予測子 $X_{\hat{E}}$ の有意性を検定するために拡張可能か。その利点は何か？
• RQ5 モンテカルロ近似におけるアンダーサンプリングは、選択的仮説検定フレームワークにおけるp値の正確性にどのような影響を与えるか？

主な発見

• 提案手法は、帰無仮説下のシミュレーションにより、名目有意水準（例：0.05）で有意水準を適切に制御していることが示された。
• 真の効果がないシナリオでは、本手法の有意水準は0.05に達し、ナイーブt検定では有意水準が0.999に達するなど、補正の必要性が明確に確認された。
• バイオマーカー・サインチャープが強く予測的である設定では、データのより効率的な使用のおかげで、サンプル分割法よりも高い統計的検出力を示した。
• 選択された予測子 $X_{\hat{E}}$ の含め方を検定する際、解析的解が有効に提供され、高価なサンプリングの必要がなくなった。
• モンテカルロ近似におけるp値のアンダーサンプリングは、分散が大きく、不適切なp値を生じさせた。実務では十分なサンプリングの必要性が強調された。
• 特に強いシグナルを伴う高次元設定において、誤差率制御および検出力の点で、事前検証およびサンプル分割法を上回る性能を示した。