[논문 리뷰] The gradient complexity of linear regression

Mark Braverman, Elad Hazan외 2명|arXiv (Cornell University)|2019. 11. 06.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 선형 회귀와 최대 고유벡터 계산에서, 임의화된 알고리즘이 다항 정확도를 달성하기 위해 행렬-벡터 곱 쿼리에 대해 Ω(d) 쿼리가 필요하다는 것을 입증한다. 이는 고정밀도 영역에서도 성립하며, 결과는 날카롭게 날카로운 하한선을 이룬다. 이는 Lanczos 방법을 통해 d개의 쿼리로 충분함을 보여주며, 랜덤 워시아르트 행렬의 최소 고유값을 추정하는 데 새로운 감소 기법을 통해 증명된다.

ABSTRACT

We investigate the computational complexity of several basic linear algebra primitives, including largest eigenvector computation and linear regression, in the computational model that allows access to the data via a matrix-vector product oracle. We show that for polynomial accuracy, $Θ(d)$ calls to the oracle are necessary and sufficient even for a randomized algorithm. Our lower bound is based on a reduction to estimating the least eigenvalue of a random Wishart matrix. This simple distribution enables a concise proof, leveraging a few key properties of the random Wishart ensemble.

연구 동기 및 목표

• 고정밀도 영역에서 선형 회귀 및 고유벡터 계산에 대한 일阶 방법의 계산 복잡도를 이해하는 데 있어 격차를 메우기.
• 기울기 기반 알고리즘이 데이터의 희소성을 활용하여 기존의 공액 기울기 또는 Lanczos 방법보다 고정밀도 설정에서 더 나은 성능을 낼 수 있는지 여부를 규명하기.
• 다항 정확도 해를 얻기 위해 필요한 행렬-벡터 곱 쿼리 수에 대한 정보 이론적 하한선을 수립하기.
• 희소성이 존재하더라도 일阶 방법이 기존 반복적 해법보다 현저히 뛰어난 성능을 내지 못함을 보여주기.
• 하한선을 증명하기 위해 랜덤 워시아르트 행렬을 기반으로 한 새로운 감소 기법을 개발하기.

제안 방법

• 알고리즘이 행렬에 접근하는 유일한 방법이 행렬-벡터 곱 오라클임을 가정하는 계산 모델을 사용하여, 일阶 방법을 시뮬레이션한다.
• 최대 고유벡터를 추정하는 문제를 랜덤 워시아르트 행렬의 최소 고유값을 추정하는 문제로 감소시킨다.
• 워시아르트 집단의 성질을 활용하여, T개의 쿼리 이후 잔차 부분공간이 독립적인 N(0,1/d) 항목을 포함함을 보여준다.
• 귀납적 추론을 적용하여, 쿼리의 영역의 직교 여부가 모델 하에서 독립적 동일 분포를 따름을 보여준다.
• 잔차 행렬의 제곱 특이값이 워시아르트 분포를 따른다는 사실을 활용하여 고유값 집중 한계를 도출한다.
• 가우시안 행렬의 측도 집중 및 독립성 성질을 활용하여, 어떤 알고리즘도 Ω(d) 쿼리 이하로 진짜 고유벡터를 구별할 수 없다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 선형 회귀 또는 최대 고유벡터 계산의 다항 정확도 해를 얻기 위해 필요한 최소 행렬-벡터 곱 쿼리 수는 얼마인가?
• RQ2 기울기 유사 쿼리 기반의 일阶 방법이 고정밀도 영역에서 공액 기울기 또는 Lanczos 방법보다 더 나은 성능을 낼 수 있는가, 특히 데이터가 희소한 경우에 대해?
• RQ3 행렬-벡터 곱 쿼리 모델에서 고정밀도 해를 얻기 위해 필요한 쿼리 수에 대한 기본적인 정보 이론적 한계가 존재하는가?
• RQ4 행렬-벡터 곱 오라클만을 사용하여 선형 시스템을 풀거나 최상위 고유벡터를 계산하는 데 복잡도를 현저히 줄일 수 있는가?
• RQ5 랜덤 워시아르트 행렬의 구조가 이러한 문제의 쿼리 복잡도에 대해 날카로운 하한선을 제공하는가?

주요 결과

• 다항 정확도에서, 최대 고유벡터를 계산하거나 선형 회귀 문제를 해결하기 위해 Θ(d) 개의 행렬-벡터 곱 쿼리가 필요하고 충분하다.
• 하한선 Ω(d) 쿼리는 랜덤화된 알고리즘에도 적용되며, ε = 1/poly(d)인 고정밀도 영역에서도 성립한다.
• 하한선은 날카롭다. Lanczos 방법은 d개의 쿼리로 기계 정밀도 수준까지 정확한 해를 달성하기 때문이다.
• 증명은 랜덤 워시아르트 행렬의 최소 고유값을 추정하는 데로의 감소에 의존하며, 이는 Ω(d) 쿼리가 필요하다는 것이 입증된다.
• T개의 쿼리 이후 쿼리 행렬의 잔차 부분공간은 독립적인 N(0,1/d) 항목을 포함하며, 이는 고정밀도를 달성하기 위해 T가 Ω(d)여야 한다는 것을 의미한다.
• 결과적으로, 희소성을 활용하더라도 일阶 방법이 공액 기울기 또는 Lanczos 방법보다 쿼리 복잡도 측면에서 현저히 뛰어나지 못한다는 것을 시사한다.