[논문 리뷰] A Statistical Perspective on Randomized Sketching for Ordinary Least-Squares

Garvesh Raskutti, Michael W. Mahoney|arXiv (Cornell University)|2014. 06. 23.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 18

한 줄 요약

이 논문은 일반 최소제곱 회귀에서 랜덤 스케칭을 분석하기 위한 통합된 통계적 및 알고리즘적 프레임워크를 제시한다. 잔차 효율성은 $ r \lesssim p \ll n $ 조건에서 달성 가능하며, 예측 효율성은 훨씬 더 큰 스케칭 크기를 요구함을 보이며, 랜덤 프로젝션과 샘플링 방법에 대해 둘 다에 대해 날카운 상한과 하한을 제공한다.

ABSTRACT

We consider statistical as well as algorithmic aspects of solving large-scale least-squares (LS) problems using randomized sketching algorithms. For a LS problem with input data $(X, Y) \in \mathbb{R}^{n imes p} imes \mathbb{R}^n$, sketching algorithms use a sketching matrix, $S\in\mathbb{R}^{r imes n}$ with $r \ll n$. Then, rather than solving the LS problem using the full data $(X,Y)$, sketching algorithms solve the LS problem using only the sketched data $(SX, SY)$. Prior work has typically adopted an algorithmic perspective, in that it has made no statistical assumptions on the input $X$ and $Y$, and instead it has been assumed that the data $(X,Y)$ are fixed and worst-case (WC). Prior results show that, when using sketching matrices such as random projections and leverage-score sampling algorithms, with $p < r \ll n$, the WC error is the same as solving the original problem, up to a small constant. From a statistical perspective, we typically consider the mean-squared error performance of randomized sketching algorithms, when data $(X, Y)$ are generated according to a statistical model $Y = X β+ ε$, where $ε$ is a noise process. We provide a rigorous comparison of both perspectives leading to insights on how they differ. To do this, we first develop a framework for assessing algorithmic and statistical aspects of randomized sketching methods. We then consider the statistical prediction efficiency (PE) and the statistical residual efficiency (RE) of the sketched LS estimator; and we use our framework to provide upper bounds for several types of random projection and random sampling sketching algorithms. Among other results, we show that the RE can be upper bounded when $p < r \ll n$ while the PE typically requires the sample size $r$ to be substantially larger. Lower bounds developed in subsequent results show that our upper bounds on PE can not be improved.

연구 동기 및 목표

• 대규모 최소제곱 문제를 위한 랜덤 스케칭의 알고리즘적 및 통계적 시각을 통합하기 위해.
• 선형 모델 $ Y = X\beta + \epsilon $ 하에서 스케칭 추정량의 통계적 성능을 분석하기 위해.
• 랜덤 프로젝션과 샘플링 스케칭 행렬에 대해 통계적 예측 효율성(PE)과 잔차 효율성(RE)의 상한을 유도하기 위해.
• PE는 RE보다 훨씬 더 큰 스케칭 크기를 요구하며, 이러한 상한이 하한을 통해 날카로움을 입증함으로써 분석의 날카로움을 확립하기 위해.

제안 방법

• 랜덤 스케칭 방법의 알고리즘적 및 통계적 측면을 평가하기 위한 통합 프레임워크를 개발한다.
• 스케칭 행렬 $ S \in \mathbb{R}^{r \times n} $를 사용하여 $ \min_\beta \|SY - SX\beta\|_2^2 $ 를 풀어 얻은 스케칭된 최소제곱 추정량 $ \beta_S $ 를 분석한다. 여기서 $ r \ll n $ 이다.
• 스케칭된 추정량의 두 가지 통계적 성능 지표인 예측 효율성(PE)과 잔차 효율성(RE)을 도입하고 그 bounds 를 제시한다.
• 집중 부등식과 트레이스 기반 분석을 사용하여 $ U^T S^T S U $ 의 기대 프로베니우스 노름을 유계로 제한한다. 여기서 $ U $ 는 $ X $ 의 우변 특이벡터 행렬이다.
• 마르코프 부등식과 헤다드 기반 스케칭에 대한 기존 결과를 적용하여 조건수와 오차 증폭에 대한 고확률 상한을 유도한다.
• 상한이 향상될 수 없음을 보여주는 하한을 유도함으로써 PE에 대한 상한의 날카로움을 입증한다.

실험 결과

연구 질문

• RQ1 랜덤 스케칭에 대한 알고리즘적 시각과 통계적 시각은 최소제곱 문제에서 성능 보장을 어떻게 다를까?
• RQ2 스케칭된 최소제곱 추정량이 통계 모델에서 잔차 효율성(RE)을 달성하기 위해 어떤 스케칭 크기 조건을 필요로 하는가?
• RQ3 스케칭된 추정량이 예측 효율성(PE)을 달성하기 위해 필요한 스케칭 크기는 얼마이며, RE와 비교해보면 어떠한가?
• RQ4 PE에 대한 상한은 향상시킬 수 있는가, 아니면 이미 날카로운가?
• RQ5 랜덤 프로젝션과 랜덤 샘플링을 포함한 다양한 스케칭 방법은 통계적 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 잔차 효율성(RE)는 $ p \lesssim r \ll n $ 조건에서 상한으로 유계로 제한될 수 있으며, 이는 작은 스케칭에서도 잔차 오차를 잘 유지함을 시사한다.
• 예측 효율성(PE)은 일반적으로 스케칭 크기 $ r $ 가 $ p $ 보다 훨씬 커야 하며, 이는 통계 성능에서 RE와 PE 사이에 본질적인 격차가 있음을 보여준다.
• PE에 대한 상한은 일치하는 하한을 통해 날카로움이 입증되었으며, 이는 유도된 상한이 향상될 수 없음을 증명한다.
• 가우시안 랜덤 프로젝션의 경우, 스케칭된 시스템의 조건수 $ \gamma(S) $ 는 고확률로 $ 1 + \frac{n+1}{r} $ 이하로 유계로 제한되며, 이는 좋은 안정성을 의미한다.
• 헤다드 기반 스케칭의 경우, 기존의 집중 결과를 활용하여 $ \|U^T S^T S \|_F^2 / p $ 를 유계로 제한하며, 이는 $ \gamma(S) \leq 11(1 + \frac{n+1}{r}) $ 를 확률 0.9 이상로 보장한다.
• 분석은 랜덤 샘플링 스케칭(SGP)이 $ \mathbb{E}[\|U^T S^T S U\|_F^2 / p] \leq 1 + \frac{n+1}{r} $ 를 만족함을 확인하며, 이는 통계적 강건성을 뒷받침한다.