[논문 리뷰] More Efficient Estimation for Logistic Regression with Optimal Subsample

HaiYing Wang|arXiv (Cornell University)|2018. 02. 08.

Statistical Methods and Inference참고 문헌 43인용 수 6

한 줄 요약

이 논문은 Wang 등(2018)에서 유도된 최적의 부분표본 비율을 사용하여 로지스틱 회귀 분석의 더 효율적인 추정 방법을 제안하며, 새로운 가중치 설계와 포아송 부분표본 추출을 도입하여 추정 효율성과 계산 확장성을 향상시킨다. 주요 기여는 역확률가중추정량보다 더 작은 점근적 분산을 가지는 새로운 추정량을 제안한 것으로, 부분표본 크기가 전체 데이터 크기와 비례할 경우 특히 높은 효율성을 달성한다.

ABSTRACT

In this paper, we propose improved estimation method for logistic regression based on subsamples taken according the optimal subsampling probabilities developed in Wang et al. 2018 Both asymptotic results and numerical results show that the new estimator has a higher estimation efficiency. We also develop a new algorithm based on Poisson subsampling, which does not require to approximate the optimal subsampling probabilities all at once. This is computationally advantageous when available random-access memory is not enough to hold the full data. Interestingly, asymptotic distributions also show that Poisson subsampling produces a more efficient estimator if the sampling rate, the ratio of the subsample size to the full data sample size, does not converge to zero. We also obtain the unconditional asymptotic distribution for the estimator based on Poisson subsampling. The proposed approach requires to use a pilot estimator to correct biases of un-weighted estimators. We further show that even if the pilot estimator is inconsistent, the resulting estimators are still consistent and asymptotically normal if the model is correctly specified.

연구 동기 및 목표

• 거대한 데이터 세트에서 로지스틱 회귀 분석의 추정 효율성을 향상시키기 위해 최적의 부분표본에 대한 가중치 설계를 개선한다.
• 전체 데이터가 메모리에 들어가지 못할 경우 발생하는 계산적 제약을 해결하기 위해, 모든 부분표본 확률를 동시에 저장할 필요가 없는 포아송 부분표본 추출을 도입한다.
• 포아송 부분표본 추출 하에서 새로운 추정량의 점근적 분포를 수립하여, 부분표본 비율이 0으로 수렴하지 않을 경우 더 높은 효율성을 보임을 보인다.
• 기본 추정량이 일致하지 않더라도 제안된 방법이 일致하고 점근적으로 정규분포를 따르는 추정량을 도출함을 보여준다.

제안 방법

• Wang 등(2018)에서 유도된 최적의 부분표본 비율을 사용하지만, 점근적 분산을 감소시키기 위해 개선된 가중치 설계를 적용하는 새로운 추정량을 제안한다.
• 베르누이 또는 비복원 추출과 비교하여 계산적으로 효율적인 포아송 부분표본 추출을 도입하여, 모든 부분표본 확률를 동시에 계산하고 저장할 필요가 없도록 한다.
• 포아송 부분표본 추출 기반 추정량의 무조건적 점근적 분포를 유도하며, 부분표본 크기가 전체 데이터 크기와 비례할 경우 역확률가중추정량보다 더 효율적임을 보인다.
• 이중 단계 접근법을 사용한다: 첫 번째 단계에서는 기저 추정량을 사용해 부분표본 확률를 계산하고, 두 번째 단계에서는 수정된 가중치 설계를 통해 최종 추정량을 계산한다.
• Hjort과 Pollard(2011)의 기본 보조정리를 적용하여 조건부 기대값 하에서 추정량의 점근적 정규성을 도출한다.
• 점근적 분석과 마팅게일 중심극한정리 기법을 활용하여 추정량의 극한 분포 및 분산-공분산 구조를 유도한다.

실험 결과

연구 질문

• RQ1 최적의 부분표본 추출을 위한 로지스틱 회귀 분석에서, 더 나은 가중치 설계가 역확률가중추정량을 초월하여 추정 효율성을 향상시킬 수 있는가?
• RQ2 부분표본 크기가 전체 데이터 크기와 비례할 경우, 포아송 부분표본 추출이 다른 샘플링 방법보다 더 효율적인 추정량을 도출할 수 있는가?
• RQ3 기본 추정량이 일치하지 않더라도 제안된 방법이 일치성과 점근적 정규성을 유지할 수 있는가?
• RQ4 포아송 부분표본 추출 하에서 추정량의 무조건적 점근적 분포는 무엇이며, 조건부 분포와 비교해 어떻게 다른가?
• RQ5 새로운 추정량의 점근적 분산은 역확률가중추정량에 비해 로에너링 순서 기준으로 어떻게 비교되는가?

주요 결과

• Loewner 순서 기준으로 확인한 결과, 제안된 추정량은 Wang 등(2018)에서 제시된 역확률가중추정량보다 더 작은 점근적 분산-공분산 행렬을 갖는다.
• 부분표본 크기가 전체 데이터 크기와 비례할 경우(즉, n/N → ρ > 0), 포아송 부분표본 추출은 역확률가중추정량보다 더 효율적인 추정량을 도출한다.
• 포아송 부분표본 추출 기반 추정량의 무조건적 점근적 분포를 유도하였으며, 이는 분산-공분산 행렬이 가중추정량보다 작고 점근적으로 정규분포를 따름을 보였다.
• 기본 추정량이 일치하지 않더라도 최종 추정량은 여전히 일치하고 점근적으로 정규분포를 따르며, 기본 추정 오차에 대한 강건성을 입증한다.
• 포아송 부분표본 추출은 모든 부분표본 확률를 동시에 저장할 필요가 없기 때문에 계산상 유리하여 메모리 제약 환경에서 적합하다.
• 수치 결과는 새로운 추정량이 기존 방법보다 더 높은 추정 효율성을 보임을 확인하였으며, 특히 대규모 로지스틱 회귀 분석 환경에서 뚜렷한 성능 향상을 보였다.