[논문 리뷰] A New Theory for Sketching in Linear Regression.

Edgar Dobriban, Sifan Liu|arXiv (Cornell University)|2018. 10. 14.

Random Matrices and Applications참고 문헌 16인용 수 11

한 줄 요약

이 논문은 선형 회귀에서 스케칭의 정확도 손실을 정확히 정량화하기 위해 渐近적 랜덤 행렬 이론과 자유 확률 이론을 활용하는 새로운 이론적 프레임워크를 제안한다. 다양한 스케칭 방법에 대해 근사한 경계를 넘어서 정확한 닫힌 형태의 표현식을 제공하며, 시뮬레이션과 실제 데이터에서 높은 정확도를 보인다.

ABSTRACT

Large datasets create opportunities as well as analytic challenges. A recent development is to use random projection or sketching methods for dimension reduction in statistics and machine learning. In this work, we study the statistical performance of sketching algorithms for linear regression. Suppose we randomly project the data matrix and the outcome using a random sketching matrix reducing the sample size, and do linear regression on the resulting data. How much do we lose compared to the original linear regression? The existing theory does not give a precise enough answer, and this has been a bottleneck for using random projections in practice. In this paper, we introduce a new mathematical approach to the problem, relying on very recent results from asymptotic random matrix theory and free probability theory. This is a perfect fit, as the sketching matrices are random in practice. We allow the dimension and sample sizes to have an arbitrary ratio. We study the most popular sketching methods in a unified framework, including random projection methods (Gaussian and iid projections, uniform orthogonal projections, subsampled randomized Hadamard transforms), as well as sampling methods (including uniform, leverage-based, and greedy sampling). We find precise and simple expressions for the accuracy loss of these methods. These go beyond classical Johnson-Lindenstrauss type results, because they are exact, instead of being bounds up to constants. Our theoretical formulas are surprisingly accurate in extensive simulations and on two empirical datasets.

연구 동기 및 목표

• 스케칭 기반 선형 회귀에서 정확도 손실에 대한 정밀한 이론적 이해가 부족한 문제를 해결하기 위해.
• 랜덤 프로젝션과 샘플링 기법을 포함한 다양한 스케칭 방법에 적용 가능한 통합 프레임워크를 개발하기 위해.
• 정확한 표현식을 유도함으로써 근사적인 Johnson-Lindenstrauss 유형의 경계를 넘어서기 위해.
• 대규모 회귀 분석에서 스케칭의 신뢰할 수 있는 실용적 활용을 가능하게 하기 위해 통계적 비용을 정량화하기 위해.

제안 방법

• 최근의 渐近적 랜덤 행렬 이론과 자유 확률 이론의 발전을 활용하여 스케칭 행렬의 행동을 모델링한다.
• 차원 수 대 표본 크기의 임의의 비율에서 스케칭된 회귀 추정량의 한계 스펙트럼 분포를 분석한다.
• 완전한 데이터의 최소제곱 해에 비해 스케칭된 추정량의 평균 제곱오차에 대한 정확한 표현식을 유도한다.
• 다양한 스케칭 방법에 프레임워크를 적용한다: 가우시안, i.i.d., 균일 직교, 부분적 하다르드, 그리고 샘플링 기반 방법(균일, 리지드 기반, 게리 계측).
• 랜덤 행렬 이론의 결정론적 등가를 사용하여 스케칭된 추정량의 위험을 높은 정밀도로 근사한다.
• 광범위한 시뮬레이션과 실제 데이터 세트에서의 실증 평가를 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 스케칭을 사용할 때 선형 회귀에서 정확도 손실의 정확한 통계적 비용은 무엇이며, 점점 커지는 경계를 넘어서는가?
• RQ2 임의의 차원 대 표본 크기 비율 하에서 다양한 스케칭 방법 간 정확도 손실은 어떻게 달라지는가?
• RQ3 통합 이론적 프레임워크는 다양한 스케칭 기법의 성능을 정확히 예측할 수 있는가?
• RQ4 이론적 예측이 실제 세계 데이터 세트에서의 실증 성능과 얼마나 일치하는가?
• RQ5 리지드 기반 및 게리 계측 샘플링은 동일한 조건에서 균일 또는 랜덤 프로젝션 방법에 비해 정확도 손실 측면에서 어떻게 다른가?

주요 결과

• 제안된 이론은 스케칭 기반 선형 회귀에서 정확도 손실에 대해 정확한 닫힌 형태의 표현식을 제공하며, 전통적 경계를 뛰어넘는다.
• 이론적 공식은 다양한 스케칭 방법과 데이터 환경에서 시뮬레이션 결과와 뛰어난 일치를 보인다.
• 균일 또는 랜덤 프로젝션 방법에 비해 리지드 기반 및 게리 계측 샘플링 방법은 동일한 조건에서 훨씬 낮은 정확도 손실을 보인다.
• 프레임워크는 두 개의 실증 데이터 세트에서 성능을 정확히 예측하여 실용적 관련성을 검증한다.
• 이 방법은 스케칭의 渐近적 행동이 스케칭 행렬의 스펙트럼 성질에 의해 결정되며, 자유 확률 도구를 통해 이를 포괄함을 드러낸다.
• 결과적으로 스케칭이 대규모 회귀 분석에서 매우 높은 신뢰도로 사용될 수 있음을 보여주며, 이론적 손실은 정확히 정량화 가능하고 일반적으로 작다.