[논문 리뷰] Optimal Subsampling for Large Sample Ridge Regression

Yunlu Chen, Nan Zhang|arXiv (Cornell University)|2022. 04. 10.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 대규모 표본 릿지 회귀에 대한 최적의 서브샘플링 방법을 제안하며, 릿지 레버리지 스코어와 예측변수의 ℓ₂ 노름을 조합하여 渐近적 평균 제곱 오차를 최소화한다. 이 방법은 계산 비용을 줄이기 위해 효율적인 근사치를 사용하며, 특히 작은 또는 중간 크기의 서브샘플 크기에서 기존의 서브샘플링 접근법보다 뛰어난 통계적 정확도와 효율성을 보여준다. 합성 및 실세계 데이터셋에서의 실험을 통해 성능을 입증하였다.

ABSTRACT

Subsampling is a popular approach to alleviating the computational burden for analyzing massive datasets. Recent efforts have been devoted to various statistical models without explicit regularization. In this paper, we develop an efficient subsampling procedure for the large sample linear ridge regression. In contrast to the ordinary least square estimator, the introduction of the ridge penalty leads to a subtle trade-off between bias and variance. We first investigate the asymptotic properties of the subsampling estimator and then propose to minimize the asymptotic-mean-squared-error criterion for optimality. The resulting subsampling probability involves both ridge leverage score and L2 norm of the predictor. To further reduce the computational cost for calculating the ridge leverage scores, we propose the algorithm with efficient approximation. We show by synthetic and real datasets that the algorithm is both statistically accurate and computationally efficient compared with existing subsampling based methods.

연구 동기 및 목표

• 거대한 데이터셋에서 릿지 회귀의 계산 부담을 줄이기 위해 효율적인 서브샘플링 절차를 개발한다.
• 릿지 회귀의 편향-분산 트레이드오프를 고려하지 않는 기존 서브샘플링 방법의 한계를 극복한다.
• 고차원적이고 대규모 표본 환경에서 통계적 효율성과 계산 가능성을 균형 잡는 서브샘플링 확률을 개발한다.
• 릿지 레버리지 스코어 계산 비용을 정확도를 희생시키지 않고 줄이기 위한 효율적인 근사 알고리즘을 제안한다.
• 다양한 데이터 시나리오에서 평균 제곱 오차와 계산 효율성 측면에서 제안된 방법의 우수성을 입증한다.

제안 방법

• 릿지 회귀 하에서 서브샘플링 추정기의 渐近적 분포를 유도하여 최적성 기준을 도출한다.
• asymptotic 평균 제곱 오차(AMSE)를 최소화함으로써 최적의 서브샘플링 확률을 설정하며, 이는 릿지 레버리지 스코어와 각 예측변수의 ℓ₂ 노름을 모두 포함한다.
• 특히 큰 n에 대해 계산 복잡도를 줄이기 위해 릿지 레버리지 스코어의 빠른 근사치를 도입한다.
• 이중 단계 샘플링 전략을 구현: 먼저 근사된 릿지 레버리지 스코어를 계산하고, 그 다음 릿지 레버리지 스코어와 ℓ₂ 노름을 통합한 확률 기반으로 샘플링 확률를 할당한다.
• 선택된 서브샘플을 사용하여 전체 표본 추정기와 유사한 릿지 회귀 추정기를 계산한다.
• 기본 방법인 균일 샘플링, RLEV, OPT, IBOSS와의 비교를 통해 합성 데이터와 실세계 데이터셋을 사용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 대규모 표본 설정에서 릿지 회귀에 최적화된 서브샘플링을 어떻게 설계할 수 있는가? 이는 편향과 분산을 균형 잡는 데 기여한다.
• RQ2 릿지 회귀에서 渐近적 평균 제곱 오차를 최소화하는 최적의 서브샘플링 확률은 무엇인가?
• RQ3 릿지 레버리지 스코어를 어떻게 효율적으로 근사할 수 있는가? 이는 계산 비용을 줄이면서도 통계적 정확도를 유지할 수 있다.
• RQ4 제안된 방법은 기존의 서브샘플링 방법과 비교해 추정 정확도와 계산 효율성 측면에서 어떻게 다른가?
• RQ5 진짜 모형이 릿지 정규화를 강하게 유리하게 만들지 않는 경우에도 제안된 방법은 여전히 성능을 유지를 하는가?

주요 결과

• 합성 실험에서 제안된 ROPT 방법은 모든 테스트 서브샘플 크기에서 가장 낮은 평균 제곱 오차(MSE)를 기록했으며, RLEV, RUNIF, OPT, IBOSS를 모두 앞서나갔다.
• 릿지 레버리지 스코어의 빠른 근사치(ROPT)는 정확한 버전(ROPT-acc)과 거의 동일한 성능을 보여, 근사치의 효과성을 확인했다.
• 39,000개 이상의 샘플을 포함하는 Online News Popularity 데이터셋에서, ROPT 방법은 모든 서브샘플 크기에서 일관되게 가장 낮은 테스트 오차를 기록했으며, r=100일 때 가장 작은 로그 테스트 오차(0.007)를 기록했다.
• 서브샘플 크기가 작거나 중간일 경우 ROPT 방법은 다른 방법들보다 뚜렷한 우위를 보였으며, 서브샘플 크기가 증가함에 따라 성능 격차는 점차 줄어들었다.
• 진짜 모형이 릿지 페널티를 강하게 유리하게 만들지 않는 경우에도 이 방법은 여전히 효과적이었으며, 모형 잘못 지정에 대한 강건성을 보였다.
• 서브샘플링 확률에 릿지 레버리지 스코어와 ℓ₂ 노름을 모두 활용한 결과, 단일 구성 요소에 의존하는 방법보다 더 뛰어난 통계적 효율성을 달성했다.