[논문 리뷰] Local case-control sampling: Efficient subsampling in imbalanced data sets

William Fithian, Trevor Hastie|2013. 06. 16.

Imbalanced Data Classification Techniques인용 수 8

한 줄 요약

이 논문은 모델 사양이 올바를 때 전체 표본 MLE의 점근적 효율성의 2배 이내로, 매우 작은 표본에서도 효과적으로 작동하는, 불균형 로지스틱 회귀 데이터를 위한 국소적 케이스-컨트롤 샘플링을 제안한다. 이 방법은 사전 추정치를 기반으로 조건부 희귀 케이스를 우선적으로 선택하는 수단으로, 예측 확률에 기반한 수락-기각 기반의 샘플링 기법을 사용하며, 분석적으로 편향을 보정함으로써 전체 표본 MLE에 가까운 효율성을 달성한다.

ABSTRACT

For classification problems with significant class imbalance, subsampling can reduce computational costs at the price of inflated variance in estimating model parameters. We propose a method for subsampling efficiently for logistic regression by adjusting the class balance locally in feature space via an accept-reject scheme. Our method generalizes standard case-control sampling, using a pilot estimate to preferentially select examples whose responses are conditionally rare given their features. The biased subsampling is corrected by a post-hoc analytic adjustment to the parameters. The method is simple and requires one parallelizable scan over the full data set. Standard case-control sampling is inconsistent under model misspecification for the population risk-minimizing coefficients $θ^*$. By contrast, our estimator is consistent for $θ^*$ provided that the pilot estimate is. Moreover, under correct specification and with a consistent, independent pilot estimate, our estimator has exactly twice the asymptotic variance of the full-sample MLE - even if the selected subsample comprises a miniscule fraction of the full data set, as happens when the original data are severely imbalanced. The factor of two improves to $1+\frac{1}{c}$ if we multiply the baseline acceptance probabilities by $c>1$ (and weight points with acceptance probability greater than 1), taking roughly $\frac{1+c}{2}$ times as many data points into the subsample. Experiments on simulated and real data show that our method can substantially outperform standard case-control subsampling.

연구 동기 및 목표

• 대규모 불균형 데이터셋에서 계산 비용을 줄이되 통계적 효율성을 유지함으로써 계산 비효율성을 해결한다.
• 특징 공간 내 조건부 불균형을 고려하지 못하는 표준 케이스-컨트롤 샘플링의 한계를 극복한다.
• 계산 비용을 크게 줄이면서도 통계적 효율성을 유지하는 서브샘플링 전략을 개발한다.
• 모델 사양 오류가 있을 경우에도 인구 위험 최소화 계수에 대한 추정기의 일致성과 점근적 효율성을 보장한다.
• 단일 데이터 스캔으로 구현 가능한 실용적이고 병렬 처리 가능한 방법을 제공한다.

제안 방법

• 로지스틱 회귀 모수의 사전 추정치 (α̃, β̃) 를 사용하여 각 데이터 포인트의 반응이 특징에 조건부로 희귀한지 평가한다.
• 사전 추정치에 기반해 X가 주어진 조건에서 Y가 희귀할수록 더 높은 확률로 선택되는 수락-기각 샘플링 기법을 적용한다.
• 결과로 생기는 편향된 서브샘플을 모델 모수에 분석적 보정을 통해 조정함으로써 전체 모수 θ*에 대한 일치성을 확보한다.
• 서브샘플 크기를 제어하기 위해 수용 확률에 c > 1 인 요소를 곱하고, 수용 확률이 1을 초과하는 점들에 대해 해당 가중치 체계를 적용한다.
• 전체 데이터 세트를 한 번만 병렬 처리 가능한 스캔으로 처리함으로써 계산 효율성을 확보한다.
• 헤시안과 스코어 함수를 사용해 점근적 분산 성질을 유도하며, 모델 사양이 올바를 경우 추정기의 점근적 분산이 전체 표본 MLE의 정확히 두 배임을 보여준다.

실험 결과

연구 질문

• RQ1 모수의 희귀성 외에 국소적 조건부 희귀성까지 고려함으로써 불균형 로지스틱 회귀에서 서브샘플링 효율성을 향상시킬 수 있는가?
• RQ2 모델 사양 오류가 있을 경우에도 국소적 케이스-컨트롤 샘플링이 인구 위험 최소화 계수 θ*에 대해 일치 추정기를 제공하는가?
• RQ3 제안된 추정기의 점근적 분산은 전체 표본 MLE에 비해 어느 정도이며, 서브샘플 크기와 어떻게 관련되는가?
• RQ4 서브샘플 크기가 원본 데이터의 극히 작은 비율(예: 1%)일지라도 높은 통계적 효율성을 유지할 수 있는가?
• RQ5 실제 및 시뮬레이션 데이터에서 표준 케이스-컨트롤 샘플링과 비교해 본 방법은 편향, 분산 및 계산 비용 측면에서 어떻게 다른가?

주요 결과

• 사전 추정치가 일치할 경우, 모델 사양 오류가 있더라도 추정기는 θ*에 대해 일치한다.
• 모델 사양이 올바르고, 독립적인 일치한 사전 추정치가 있을 경우, 추정기의 점근적 분산은 전체 표본 MLE의 정확히 두 배이다.
• 수용 확률에 c > 1 인 요소를 곱할 경우, 점근적 분산은 전체 표본 MLE의 (1 + 1/c) 배로 개선되며, 서브샘플 크기는 원래 크기의 (1 + c)/2 배로 비례한다.
• 이 방법은 거의 최적의 통계적 효율성을 달성한다: 원본 데이터의 1% 미만의 서브샘플이라도 추정기의 정밀도를 유지한다.
• 시뮬레이션 및 실제 데이터 실험 결과, 표준 케이스-컨트롤 샘플링보다 추정 정확도와 분산 감소 측면에서 뚜렷이 뛰어나다.
• 이 방법은 계산적으로 효율적이며, 전체 데이터 세트를 한 번만 병렬 처리 가능한 스캔으로 처리하므로 대규모 데이터에 대해 확장 가능하다.