[논문 리뷰] Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms

Ping Ma, Xinlian Zhang외 3명|arXiv (Cornell University)|2020. 02. 24.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 31

한 줄 요약

이 논문은 RandNLA 샘플링 추정기의 무조건적 및 조건부 추론 하에서 일반 최소제곱법(OLS)에 대한 점근 분포를 도출하고, AMSE 및 EAMSE 기준을 사용한 최적 샘플링 스킴을 제안한다.

ABSTRACT

The statistical analysis of Randomized Numerical Linear Algebra (RandNLA) algorithms within the past few years has mostly focused on their performance as point estimators. However, this is insufficient for conducting statistical inference, e.g., constructing confidence intervals and hypothesis testing, since the distribution of the estimator is lacking. In this article, we develop an asymptotic analysis to derive the distribution of RandNLA sampling estimators for the least-squares problem. In particular, we derive the asymptotic distribution of a general sampling estimator with arbitrary sampling probabilities. The analysis is conducted in two complementary settings, i.e., when the objective of interest is to approximate the full sample estimator or is to infer the underlying ground truth model parameters. For each setting, we show that the sampling estimator is asymptotically normally distributed under mild regularity conditions. Moreover, the sampling estimator is asymptotically unbiased in both settings. Based on our asymptotic analysis, we use two criteria, the Asymptotic Mean Squared Error (AMSE) and the Expected Asymptotic Mean Squared Error (EAMSE), to identify optimal sampling probabilities. Several of these optimal sampling probability distributions are new to the literature, e.g., the root leverage sampling estimator and the predictor length sampling estimator. Our theoretical results clarify the role of leverage in the sampling process, and our empirical results demonstrate improvements over existing methods.

연구 동기 및 목표

• 최소제곱에서의 점 추정 뿐만이 아니라 RandNLA 방법에 대한 통계적 추론의 필요성을 제시한다.
• Derive the asymptotic distribution of general RandNLA sampling estimators under two settings: estimating the true model and approximating the full sample estimator.
• AMSE와 EAMSE를 최적 샘플링 확률 설계의 기준으로 도입한다.
• 역/역공분산(IC), 루트 레버리지(RL), 예측자 길이(PL)와 같은 새로운 샘플링 스킴을 제안하고 분석하며 기존 방법과 비교한다.
• 점근적 무편향성과 분산 개선 특성을 입증하는 이론적 결과와 경험적 검증을 제공한다.

제안 방법

• RandNLA 샘플링 추정기를 ˜{β} = (X^T W X)^{-1} X^T W Y 로, 대각 성분이 임의인 W를 갖는 것으로 모델링한다.
• 정칙성 조건하에서 ˜{β}의 점근 정규성을 유도한다(고정된 p에서 시작하여 p가 발산하는 경우) 및 두 가지 추론 설정 하에서.
• AMSE와 EAMSE를 정의하여 점근 평균 제곱 오차와 그 기대를 정량화하고 최적 샘플링 확률을 안내한다.
• ˜{β}0, X˜{β}0, 및 X^T X ˜{β}0를 추정하기 위한 명시적 AMSE 형태를 얻어 새로운 샘플링 스킴으로 이어진다.
• 최적 스킴으로 제안: 역공분산(IC), X˜{β}에 대한 루트 레버리지(RL), X^T X ˜{β}에 대한 예측자 길이(PL).
• 샘플링 확률을 효율적으로 계산할 수 있는 충분조건을 제공하고, 이와 레버리지 점수와의 관계를 논의한다.

실험 결과

연구 질문

• RQ1 무조건적 및 조건부 추론 하에서 LS 문제에 대한 RandNLA 샘플링 추정기의 점근 분포는 무엇인가?
• RQ2 RandNLA 맥락에서 AMSE와 EAMSE를 최적 샘플링 확률 설계에 어떻게 활용할 수 있는가?
• RQ3 새로운 샘플링 스킴(IC, RL, PL)이 AMSE/EAMSE 측면에서 전통적인 레버리지 기반 샘플링이나 균등 샘플링보다 우수한가?
• RQ4 결과가 고정된 p와 발산하는 p에 대해 어떻게 확장되는가?

주요 결과

• 샘플링 추정기는 무조건적 및 조건부 설정 모두에서 점근적으로 정규분포를 가지며 점근적으로 무편향하다.
• 점근 분산은 전체 샘플 OLS 분산과 샘플링 확률의 역수에 의존하는 샌드위치 형태 항을 결합한다.
• 역공분산(IC) 샘플링은 ˜{β}0 추정을 위한 AMSE를 최소화한다.
• 루트 레버리지(RL) 샘플링은 레버리지가 구조상 존재함으로써 X˜{β}0 추정을 위한 AMSE를 최소화한다.
• 예측자 길이(PL) 샘플링은 X^T X ˜{β}0 추정을 위한 AMSE를 최소화하고 피셔 정보와 연결된다.
• 합성 및 실제 데이터에서 제안된 추정기의 분산이 감소하고 성능이 향상되는 경험적 결과를 보인다.