[논문 리뷰] Estimation Stability with Cross Validation (ESCV)

Chinghway Lim, Bin Yu|arXiv (Cornell University)|2013. 03. 13.

Statistical Methods and Inference참고 문헌 3인용 수 5

한 줄 요약

이 논문은 고차원 Lasso 모델에서 정규화 파라미터를 선택하기 위해 교차검증(CV)과 추정 안정성(ES) 지표를 조합한 모델에 종속되지 않는 기준인 ESCV를 제안한다. ESCV는 추정 불안정성을 최소화함으로써 CV보다 더 작고 더 안정적인 모델을 생성하여, 예측 성능을 유지하면서도 실제 신경과학 및 세포생물학 데이터에서 주제 분야 지식과 더 잘 부합하는 임의의 변수를 크게 줄인다.

ABSTRACT

Cross-validation (CV) is often used to select the regularization parameter in high dimensional problems. However, when applied to the sparse modeling method Lasso, CV leads to models that are unstable in high-dimensions, and consequently not suited for reliable interpretation. In this paper, we propose a model-free criterion ESCV based on a new estimation stability (ES) metric and CV. Our proposed ESCV finds a locally ES-optimal model smaller than the CV choice so that the it fits the data and also enjoys estimation stability property. We demonstrate that ESCV is an effective alternative to CV at a similar easily parallelizable computational cost. In particular, we compare the two approaches with respect to several performance measures when applied to the Lasso on both simulated and real data sets. For dependent predictors common in practice, our main finding is that, ESCV cuts down false positive rates often by a large margin, while sacrificing little of true positive rates. ESCV usually outperforms CV in terms of parameter estimation while giving similar performance as CV in terms of prediction. For the two real data sets from neuroscience and cell biology, the models found by ESCV are less than half of the model sizes by CV. Judged based on subject knowledge, they are more plausible than those by CV as well. We also discuss some regularization parameter alignment issues that come up in both approaches.

연구 동기 및 목표

• 고차원 Lasso 모델에서 교차검증(CV)의 불안정성으로 인한 높은 가짜 양성률 문제를 해결하기 위해.
• 예측 성능를 유지하면서 추정 안정성을 향상시키는 모델에 종속되지 않는 기준을 개발하기 위해.
• 더 해석 가능한 모델을 제공하고 임의의 변수를 줄이는 실용적인 CV의 대안을 제공하기 위해.
• ESCV의 성능을 시뮬레이션 및 실제 데이터셋에서 평가하여, 상관관계가 있는 예측 변수가 존재하는 설정에서의 성능을 분석하기 위해.
• CV와 제안된 ESCV 방법 모두에서 흔히 발생하는 정규화 파라미터 일치 문제를 조사하기 위해.

제안 방법

• 재표본화된 데이터셋 간 계수 추정치의 변동성을 측정하기 위해 새로운 추정 안정성(ES) 지표를 도입하기 위해.
• ES 지표를 교차검증과 조합하여 추정 불안정성을 최소화하는 정규화 파라미터 λ를 선택하는 새로운 기준인 ESCV를 구성하기 위해.
• k-폴드 교차검증을 사용하여 예측 오차를 추정하면서 동시에 각 폴드 간 계수 안정성을 측정하기 위해.
• 예측 성능와 추정 안정성 모두를 고려한 모델을 최적화하여, 계수 추정치의 분산이 낮고 더 작은 모델을 선호하기 위해.
• 동일한 계산 프레임워크를 사용하여 ESCV를 Lasso 회귀에 적용함으로써 병렬 처리가 용이하게 하기 위해.
• 블록 및 토플리츠 상관관계 구조를 가진 시뮬레이션 데이터와 신경과학 및 세포생물학 분야의 두 실제 데이터셋에서 ESCV를 CV 및 확장된 BIC와 비교하기 위해.

실험 결과

연구 질문

• RQ1 의존적인 예측 변수가 존재하는 고차원 설정에서, 전통적인 교차검증과 비교해 ESCV가 더 안정적이고 신뢰할 수 있는 Lasso 모델을 생성하는가?
• RQ2 예측 정확도를 유사하게 유지하면서 ESCV는 CV에 비해 얼마나 많은 가짜 양성률을 감소시키는가?
• RQ3 ESCV는 신경과학 및 세포생물학과 같이 해석 가능성의 중요성이 높은 분야에서 실질적인 응용에서 어떻게 성능을 발휘하는가?
• RQ4 CV와 ESCV 모두에서 발생하는 정규화 파라미터 일치 문제의 함의는 무엇이며, 이는 모델 선택에 어떻게 영향을 미치는가?
• RQ5 ESCV는 계산 비용을 증가시키지 않으면서도 파rameter 추정과 변수 선택을 향상시키는 실용적이고 계산적으로 효율적인 CV의 대안이 될 수 있는가?

주요 결과

• 의존적인 예측 변수가 있는 경우, ESCV는 가짜 양성률을 크게 감소시켜 종종 절반 이하로 줄였으며, 참 양성 탐지 능력은 거의 손상되지 않았다.
• 신경과학 및 세포생물학 분야의 두 실제 데이터셋에서 ESCV는 CV보다 모델 크기를 절반 이하로 줄였지만, CV의 예측 성능을 유지했다.
• 시뮬레이션 결과에서 ESCV는 특히 높은 상관관계(ρ = 0.99) 조건에서 파라미터 추정 성능에서 항상 CV를 뛰어넘었으며, 평균적으로 가짜 양성률을 20.8에서 18.2로 감소시켰다.
• 블록 상관관계 설계에서 ρ = 0.99 및 σ = 2 조건에서 ESCV는 가짜 양성률을 20.8에서 18.2로 감소시켰고, F-측정치는 CV의 0.135 대비 0.143로 높은 수준을 유지했다.
• 토플리츠 설계에서 ρ = 0.99 및 σ = 2 조건에서 ESCV는 가짜 양성률을 26.2에서 18.7로 감소시켰으며, 모델 크기는 26.5에서 20.8로 줄었고, 예측 성능 손실는 최소한이었다.
• ESCV 모델은 주제 지식과 독립적인 생물학적 발견과 더 잘 부합하여 실질 응용에서 더 높은 해석 가능성과 일관성을 보였다.