[논문 리뷰] A Selective Approach to Internal Inference

Samuel M. Gross, Jonathan Taylor외 1명|arXiv (Cornell University)|2015. 10. 02.

Statistical Methods and Inference참고 문헌 11인용 수 3

한 줄 요약

이 논문은 동일한 데이터셋을 모델 구축과 추론에 모두 사용할 때, 고차원 유전자 발현 데이터에서 유도된 생물학적 표지자 서명의 예측적 의미를 공정하게 평가하기 위한 선택적 추론 프레임워크를 제안한다. 선택된 특성의 활성 집합에 대한 조건부 추론을 통해 선택 편향을 보정함으로써, 이 방법은 유형 I 오류를 통제하고, 특히 고정된 람다(lambda)로 라소를 통해 서명을 학습할 경우 표본 분할보다 높은 검정력(power)을 보인다.

ABSTRACT

A common goal in modern biostatistics is to form a biomarker signature from high dimensional gene expression data that is predictive of some outcome of interest. After learning this biomarker signature, an important question to answer is how well it predicts the response compared to classical predictors. This is challenging, because the biomarker signature is an internal predictor -- one that has been learned using the same dataset on which we want to evaluate it's significance. We propose a new method for approaching this problem based on the technique of selective inference. Simulations show that our method is able to properly control the level of the test, and that in certain settings we have more power than sample splitting.

연구 동기 및 목표

• 표본 선택 편향으로 인해 표준 검정이 유형 I 오류가 과도하게 증가하는 문제를 해결하기 위해, 동일한 데이터에서 유도된 내부 예측자(생물학적 표지자 서명)에 대해 유효한 통계적 추론을 수행하는 것.
• 표준 임상 예측자(예: 연령, 체중 등)보다 더 높은 예측 가치를 지닌 고차원 생물학적 표지자 서명이 동일한 데이터셋에서 유도되었더라도 공정하게 평가할 수 있는 방법을 개발하는 것.
• 표본 분할 및 사전 검증과 같은 기존 접근법을 개선하여, 모든 데이터를 효율적으로 활용하면서도 적절한 오류율 제어를 유지하는 것.
• 고정된 람다(lambda)로 라소 기반 서명 선택에 적합한 선택적 추론 기법을 내부 예측의 맥락으로 확장하는 것.
• 현대 생물통계학에서 흔한 고차원 설정에서 내부 예측자의 유의미성을 평가하기 위한 실용적이고 계산적으로 구현 가능한 방법을 제공하는 것.

제안 방법

• 이 방법은 동일한 데이터셋에서 추론을 위한 모델 구축에 사용된 라소 모델에서 유도된 내부 예측자 $\hat{y}$의 유의미성에 대해 유효한 p-값을 계산하기 위해 선택적 추론을 사용한다.
• 특히 라소에 의해 선택된 특성의 집합(활동 집합 $\hat{E}$)에 조건부로, 검정 통계량의 정확한 조건부 분포를 유도함으로써 선택 이벤트를 조정한다.
• 검정 통계량은 선형 모형 $y = \theta\hat{y} + Z\gamma + \epsilon$ 기반으로 하며, 귀무가설 $H_0: \theta = 0$ 하에서 $\theta$ 를 검정한다.
• 검정 통계량과 선택 이벤트의 공동 분포를 유도함으로써, 귀무가설 하에서 조건부 분포로부터 샘플링을 통해 정확한 p-값을 도출할 수 있다.
• 선택된 예측자 $X_{\hat{E}}$의 포함 여부를 검정하기 위한 분석적 해법도 제공하여 샘플링의 필요성을 줄이고 계산 효율성을 향상시킨다.
• 가설이 유망할 경우 더 많은 데이터를 검정에 할애하기 위해 데이터 자르기(data carving)를 적용함으로써, 유형 I 오류를 증가시키지 않고 검정력을 향상시킨다.

실험 결과

연구 질문

• RQ1 동일한 데이터셋에서 유도된 생물학적 표지자 서명에 대해 선택적 추론을 사용하여 유효한 통계적 추론을 수행할 수 있는가?
• RQ2 표본 분할 및 사전 검증과 비교할 때, 제안된 방법은 어떤가? 특히, 유형 I 오류 통제와 통계적 검정력 측면에서 어떻게 다른가?
• RQ3 예측자가 고정된 람다(lambda)로 라소를 통해 유도된 경우, 이 방법은 적절한 오류율을 유지하는가? 선택 편향은 어떻게 다루는가?
• RQ4 이 방법은 단지 피팅된 $\hat{y}$가 아니라 선택된 예측자 $X_{\hat{E}}$의 유의미성까지 검정할 수 있는가? 그 장점은 무엇인가?
• RQ5 선택적 추론 프레임워크에서 p-값의 몬테카를로 근사에서 과도한 샘플링 부족(undersampling)이 p-값의 정확성에 어떤 영향을 미치는가?

주요 결과

• 제안된 선택적 추론 방법은 귀무가설 하에서 시뮬레이션을 통해 명목 수준(예: 0.05)에서 정확히 유형 I 오류율을 통제함을 입증하였다.
• 진짜 효과가 없는 시나리오에서, 이 방법은 0.05의 유형 I 오류율을 기록했고, 난이도 높은 t-검정은 0.999의 유형 I 오류율을 보여, 보정의 필요성을 확인하였다.
• 생물학적 표지자 서명이 강력하게 예측 가능할 경우, 이 방법은 더 효율적인 데이터 사용 덕분에 표본 분할보다 높은 통계적 검정력을 보였다.
• 선택된 예측자 $X_{\hat{E}}$의 포함 여부를 검정할 때, 이 방법은 샘플링이 필요 없는 유효한 분석적 해법을 제공하여 계산 비용을 절감하였다.
• 몬테카를로 근사에서의 과도한 샘플링 부족(undersampling)은 높은 분산과 유효하지 않은 p-값을 초래했으며, 실무에서 충분한 샘플링이 필요함을 시사하였다.
• 특히 강한 신호를 지닌 고차원 설정에서, 이 방법은 오류율 통제 및 검정력 측면에서 사전 검증 및 표본 분할을 모두 능가하였다.