[논문 리뷰] Selective Correlations - the conditional estimators

Yoav Benjamini, Amit Meir|arXiv (Cornell University)|2014. 12. 10.

Statistical Methods in Clinical Trials참고 문헌 10인용 수 6

한 줄 요약

이 논문은 신경영상 분석에서 선택 편향을 보정하기 위해 데이터의 사후 선택 분포에서 점추정치를 유도하는 조건부 추정 방법을 제안한다. 데이터 분할과 달리, 이 방법은 분산을 줄이되 검정력 손실을 초래하는 대신, 편향과 평균제곱오차를 줄이고 통계적 검정력을 유지하여 선택된 뇌 영역에서 상관관계를 더 정확하게 평가할 수 있도록 한다.

ABSTRACT

The problem of Voodoo correlations is recognized in neuroimaging as the problem of estimating quantities of interest from the same data that was used to select them as interesting. In statistical terminology, the problem of inference following selection from the same data is that of selective inference. Motivated by the unwelcome side-effects of the recommended remedy- splitting the data. A method for constructing confidence intervals based on the correct post-selection distribution of the observations has been suggested recently. We utilize a similar approach in order to provide point estimates that account for a large part of the selection bias. We show via extensive simulations that the proposed estimator has favorable properties, namely, that it is likely to reduce estimation bias and the mean squared error compared to the direct estimator without sacrificing power to detect non-zero correlation as in the case of the data splitting approach. We show that both point estimates and confidence intervals are needed in order to get a full assessment of the uncertainty in the point estimates as both are integrated into the Confidence Calibration Plots proposed recently. The computation of the estimators is implemented in an accompanying software package.

연구 동기 및 목표

• 신경영상에서 상관관계가 선택된 유의미한 영역을 위해 사용된 데이터에서 추정되는 선택적 추론 문제를 다루기 위해.
• 데이터 기반의 뇌 영역 선택으로 인한 추정 편향을 줄이기 위해, '바보 상관관계'(voodoo correlations)로 알려진 현상에 대응하기 위해.
• 데이터 분할이 분산을 증가시키고 검정력을 감소시키므로, 데이터 분할이 필요 없이 선택 편향을 고려한 점추정 방법을 개발하기 위해.
• 기존 방법보다 통계적 검정력을 유지하면서 편향과 평균제곱오차를 줄임으로써 성능을 향상시키는 방법을 제공하기 위해.
• Confidence Calibration Plots를 사용하여 전체적인 불확실성 평가를 위해 점추정치와 신뢰구간을 통합하기 위해.

제안 방법

• 관측된 상관계수가 선택 임계값을 초과하는 것을 조건으로 하여 상관계수 추정량의 표본분포를 조건화한다. 이는 사후 선택 분포를 기반으로 한다.
• 통계검정 통계량과 선택 이벤트의 공동분포로부터 유도된, 상관계수 추정량이 특정 임계값을 초과할 조건부 분포를 적용한다.
• 비잔틴-하우스버그(Benjamini-Hochberg, BH) 절차는 데이터에 의존하는 BH 임계값을 조건으로 하여 확장되며, BH 임계값의 渐近 일致성에 의해 정당화된다.
• 시뮬레이션 기반 校정을 사용하여 선택 조건 하에서 상관계수의 조건부 기대값을 추정함으로써 편향 보정을 실현한다.
• Rosenblatt와 Benjamini(2014)의 FCR 제어 신뢰구간에 기반하지만, 이를 점추정으로 확장한다.
• 실제 신경영상 및 관련 분야에서의 활용을 위해 보조 소프트웨어 패키지로 구현되어 있다.

실험 결과

연구 질문

• RQ1 동일한 데이터를 선택과 추정에 모두 사용할 경우, 조건부 점추정량이 추정 편향을 줄일 수 있는가?
• RQ2 편향, 평균제곱오차, 검정력 측면에서 제안된 조건부 추정량이 데이터 분할에 비해 성능이 어떻게 다른가?
• RQ3 데이터에 의존하는 BH 임계값에 조건을 두었을 때, 고차원적이고 종속적인 설정에서도 일관성과 타당성이 유지되는가?
• RQ4 조건부 점추정치와 FCR 제어 신뢰구간의 조합이, 개별적으로 사용할 경우보다 더 포괄적인 불확실성 평가를 가능하게 하는가?
• RQ5 가우시안 랜덤 필드 또는 은닉 마르코프 모델과 같은 다양한 종속성 구조에 대해 제안된 방법이 강건한가?

주요 결과

• 제안된 조건부 추정량은 특히 중간에서 높은 상관계수 값에서 직접 추정량에 비해 추정 편향을 크게 줄였다.
• 데이터 분할보다 평균제곱오차를 더 효과적으로 줄였고, 비제로 상관관계 탐지에 있어 더 높은 통계적 검정력을 유지했다.
• 가우시안 랜덤 필드나 은닉 마르코프 모델과 같은 약한 종속성 구조에서도 추정량이 효과적으로 유지되었으며, BH 임계값의 수렴을 통해 이를 입증했다.
• 시뮬레이션 결과, 특히 작은 또는 중간 표본 크기에서 조건부 추정량이 데이터 분할보다 편향과 MSE 측면에서 뛰어난 성능을 보였다.
• BH 임계값에 조건을 두었을 때, 정규 조건 하에서 점차적으로 일관성이 확보되었으며, 이는 BH 임계값이 안정된 임계값으로 수렴하기 때문이다.
• 조건부 점추정치와 FCR 제어 신뢰구간의 통합은 Confidence Calibration Plots를 통해 전체적인 불확실성 평가를 가능하게 하였다.