[논문 리뷰] A Deterministic Streaming Sketch for Ridge Regression

Benwei Shi, Jeff M. Phillips|arXiv (Cornell University)|2020. 02. 05.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 릿지 회귀에 대한 첫 번째 결정론적 스트리밍 알고리즘을 제안하며, 공분산 행렬의 프리퀀트 디렉션스 기반 스케치를 사용하여 $O(d/\varepsilon)$ 공간에서 해 계수에 대한 $\varepsilon$-상대 오차를 달성한다. 이는 공간/오차 상호작용과 쿼리 효율성 면에서 랜덤 스케치 방법을 능가하면서도 오차 및 리스크 경계에 대해 강력한 이론적 보장을 유지한다.

ABSTRACT

We provide a deterministic space-efficient algorithm for estimating ridge regression. For $n$ data points with $d$ features and a large enough regularization parameter, we provide a solution within $\varepsilon$ L$_2$ error using only $O(d/\varepsilon)$ space. This is the first $o(d^2)$ space deterministic streaming algorithm with guaranteed solution error and risk bound for this classic problem. The algorithm sketches the covariance matrix by variants of Frequent Directions, which implies it can operate in insertion-only streams and a variety of distributed data settings. In comparisons to randomized sketching algorithms on synthetic and real-world datasets, our algorithm has less empirical error using less space and similar time.

연구 동기 및 목표

• 해결 계수에 대한 증명 가능 오차 경계를 유지하면서 $o(d^2)$ 공간에서 작동하는 공간 효율적이고 결정론적인 스트리밍 알고리즘을 개발하기 위해.
• 기존의 랜덤 스케치 방법의 한계를 극복하기 위해, 결정론성, 스트리밍 지원 또는 저공간에서 강력한 오차 보장을 갖지 못하는 문제를 해결하기 위해.
• 특히 큰 $d$와 높은 정밀도 요구 사항 하에서, 랜덤 투영에 비해 프리퀀트 디렉션스 기반 스케치가 더 나은 공간-오차 상호작용을 달성할 수 있음을 보여주기 위해.
• 스케치 행렬에 의존하지 않는 분산을 가진 이론적 리스크 경계를 제공하여 이전의 랜덤 접근 방식을 향상시키기 위해.
• 경쟁 방법 대비 더 낮은 경험적 오차와 더 빠른 쿼리 시간을 달성함을 실증적으로 검증하기 위해, 특히 고차원 설정에서 성능을 입증하기 위해.

제안 방법

• 알고리즘은 데이터 행렬 $\mathbf{A} \in \mathbb{R}^{n \times d}$ 를 $\ell = O(1/\varepsilon)$ 차원의 더 작은 행렬 $\mathbf{B} \in \mathbb{R}^{\ell \times d}$ 로 압축하기 위해 프리퀀트 디렉션스(Frequent Directions, FD) 스케치를 사용하여 릿지 회귀에 필요한 공분산 구조를 유지한다.
• 데이터 스트림을 한 번의 통과만으로 $\mathbf{A}^\top\mathbf{A}$ 와 $\mathbf{A}^\top\mathbf{b}$ 의 결정론적 스케치를 유지함으로써, 효율적인 온라인 계산을 가능하게 한다.
• 큰 정규화 파rameter $\gamma$ 는 FD가 릿지 회귀 해에 대해 $\varepsilon$-상대 오차를 유지하기 위해 오직 $O(d/\varepsilon)$ 공간만으로도 충분하다는 사실을 활용한다.
• 해는 $\hat{\mathbf{x}}_\gamma = (\mathbf{B}^\top\mathbf{B} + \gamma\mathbf{I})^{-1}\mathbf{B}^\top\mathbf{b}$ 로 계산되며, $\mathbf{A}$ 가 아닌 스케치 $\mathbf{B}$ 를 사용한다.
• 이론적 분석을 통해 해 계수의 오차가 $\varepsilon$-상대 오차로 제한되며, 스케치 선택에 의존하지 않는 분산을 가진 리스크 경계가 확립된다.
• 프리퀀트 디렉션스의 성질 덕분에 삽입 전용 스트림과 분산 환경 모두를 지원한다.

실험 결과

연구 질문

• RQ1 해당 알고리즘이 $o(d^2)$ 공간에서 작동하면서도 증명 가능 오차 경계를 유지하는 결정론적 스트리밍 알고리즘으로 설계될 수 있는가?
• RQ2 특히 큰 $d$와 높은 정밀도 요구 사항 하에서, 릿지 회귀에 대해 프리퀀트 디렉션스 스케치가 랜덤 투영에 비해 더 나은 공간-오차 상호작용을 제공하는가?
• RQ3 릿지 회귀의 정규화가 일반 최소 제곱법에 비해 결정론적 스케치에 대해 더 강력한 이론적 보장을 가능하게 하는가?
• RQ4 제안된 방법이 랜덤 스케치 방법과 비교하여 오차, 공간, 쿼리 시간 측면에서 어떻게 성능을 내는가?
• RQ5 오차에 대한 이론적 경계가 타이트한가? 더 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 $O(d/\varepsilon)$ 공간 복잡도를 달성하며, 이는 $o(d^2)$ 이고, 릿지 회귀의 해 계수에 대해 $\varepsilon$-상대 오차를 보장한다.
• 특히 낮은 공간 사용에서 경험적 오차 면에서 랜덤 스케치 방법(예: 랜덤 투영, CountSketch)을 능가하며, RFDrr 버전이 대부분의 설정에서 가장 낮은 계수 오차를 기록한다.
• FD 기반 알고리즘의 쿼리 시간은 $d$ 와 선형적으로 증가하지만, 랜덤 방법은 세제곱적으로 증가하므로, $d$ 가 클수록 FD 기반 방법이 훨씬 더 효율적이다.
• 스케치 행렬에 의존하지 않는 분산을 가진 강력한 리스크 경계를 유지하며, 이는 이전의 랜덤 접근 방식에 비해 핵심적인 개선이다.
• 실험 결과, FD 기반 알고리즘은 공간/시간/오차 상호작용에서 일관되게 최적에 가까운 성능을 달성하며, 랜덤 및 다른 결정론적 방법을 모두 능가한다.
• 이론적 분석을 통해 $O(1/\varepsilon)$ 스케치 크기는 최적일 가능성이 높으며, 이를 향상시키기 위해서는 $\Omega(1/\varepsilon^2)$ 공간이 필요하며, 이는 랜덤 투영의 하한과 일치한다.