[논문 리뷰] Optimal Subsampling Approaches for Large Sample Linear Regression

Rong Zhu, Ping Ma외 2명|arXiv (Cornell University)|2015. 09. 17.

Machine Learning and Algorithms참고 문헌 1인용 수 13

한 줄 요약

이 논문은 대용량 선형 회귀에서 최적의 서브샘플링 방법을 제안하며, 渐近 이론을 활용해 최적의 샘플링 확률를 도출하는 가중치와 비가중치 추정 알고리즘 두 가지를 도입한다. 최적의 서브샘플링 방법은 리지어스 스코어를 기반으로 하고, 예측변수의 L2 노름을 사용하는 예측변수 길이 방법은 계산의 확장성과 높은 효율성을 동시에 달성하여 기존 방법들보다 추정 정확도와 계산 속도에서 뛰어난 성능을 보인다.

ABSTRACT

A significant hurdle for analyzing large sample data is the lack of effective statistical computing and inference methods. An emerging powerful approach for analyzing large sample data is subsampling, by which one takes a random subsample from the original full sample and uses it as a surrogate for subsequent computation and estimation. In this paper, we study subsampling methods under two scenarios: approximating the full sample ordinary least-square (OLS) estimator and estimating the coefficients in linear regression. We present two algorithms, weighted estimation algorithm and unweighted estimation algorithm, and analyze asymptotic behaviors of their resulting subsample estimators under general conditions. For the weighted estimation algorithm, we propose a criterion for selecting the optimal sampling probability by making use of the asymptotic results. On the basis of the criterion, we provide two novel subsampling methods, the optimal subsampling and the predictor- length subsampling methods. The predictor-length subsampling method is based on the L2 norm of predictors rather than leverage scores. Its computational cost is scalable. For unweighted estimation algorithm, we show that its resulting subsample estimator is not consistent to the full sample OLS estimator. However, it has better performance than the weighted estimation algorithm for estimating the coefficients. Simulation studies and a real data example are used to demonstrate the effectiveness of our proposed subsampling methods.

연구 동기 및 목표

• 대용량 데이터에서 선형 회귀를 분석할 때 발생하는 계산 및 통계적 과제를 해결하기 위해.
• 전체 표본 OLS 추정량을 최소한의 정확도 손실로 근사하는 효율적인 서브샘플링 방법을 개발하기 위해.
• 추정 효율성을 향상시키기 위해 渐近 이론을 활용해 최적의 샘플링 확률를 도출하기 위해.
• 리지어스 기반 서브샘플링의 대안으로서 예측변수의 L2 노름을 사용하는 확장 가능한 방법을 제안하기 위해.
• 시뮬레이션 및 실제 데이터 설정에서 가중치와 비가중치 추정 알고리즘의 성능을 평가하고 비교하기 위해.

제안 방법

• 추정량의 효율성을 최적화하기 위해 渐近 분산 기반의 샘플링 확률를 할당하는 가중치 추정 알고리즘을 제안한다.
• 서브샘플 추정량의 渐近 평균제곱오차를 최소화하는 샘플링 확률를 도출함으로써 최적의 서브샘플링 방법을 도입한다.
• 리지어스 스코어 대신 예측변수의 L2 노름을 사용하여 계산 비용을 절감하는 예측변수 길이 서브샘플링 방법을 개발한다.
• 가중치 및 비가중치 알고리즘 모두에 대해 일반 조건 하에서 서브샘플 추정량의 渐近 분포를 분석한다.
• 渐近 결과를 활용해 제안된 샘플링 기준의 일致성과 효율성을 정당화한다.
• 시뮬레이션 연구와 실제 데이터 사례를 통해 제안된 방법의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 선형 회귀에서 서브샘플 추정량의 渐近 평균제곱오차를 최소화하는 최적의 샘플링 확률 분포는 무엇인가?
• RQ2 예측변수 길이 서브샘플링 방법은 계산 효율성과 추정 정확도 측면에서 리지어스 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 비가중치 추정 알고리즘이 전체 표본 OLS 추정량에 대해 일치하지 않는 이유는 무엇이며, 어떤 맥락에서 가중치 방법보다도 뛰어난 성능을 내는가?
• RQ4 예측변수의 L2 노름을 기반으로 한 서브샘플링 방법은 더 낮은 계산 비용으로도 리지어스 기반 방법과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ5 어떤 조건에서 제안된 알고리즘 기반의 서브샘플 추정량이 渐近 정규분포와 효율성을 달성하는가?

주요 결과

• 渐近 이론을 활용해 도출된 최적의 서브샘플링 방법은 서브샘플 추정량의 가능한 최저의 渐近 평균제곱오차를 달성한다.
• 예측변수의 L2 노름을 기반으로 한 예측변수 길이 서브샘플링 방법은 정확도는 유사하면서도 계산의 확장성이 뛰어난 리지어스 기반 샘플링의 대안이 된다.
• 비가중치 추정 알고리즘은 전체 표본 OLS 추정량에 대해 일치하지 않지만, 특정 조건 하에서는 계수 추정에서 뛰어난 성능을 보인다.
• 시뮬레이션 연구는 제안된 두 서브샘플링 방법이 전체 표본 OLS에 비해 계산 비용을 크게 줄이며도 높은 추정 정확도를 유지함을 확인한다.
• 실제 데이터 사례는 제안된 방법들이 대규모 회귀 설정에서 실용적으로 효과적임을 보여준다.
• 渐近 분석은 가중치 알고리즘에서 유도된 서브샘플 추정량이 일반적인 정규 조건 하에서 분포 수렴 성질을 갖는다는 것을 확인한다.