[논문 리뷰] Quantum Algorithms and Lower Bounds for Linear Regression with Norm Constraints

Yanlin Chen, Ronald de Wolf|arXiv (Cornell University)|2021. 10. 25.

Quantum Computing Algorithms and Architecture참고 문헌 41인용 수 4

한 줄 요약

이 논문은 프랭크-울프 방법을 양자 최소값 탐색과 확률 진폭 추정을 통해 가속화하여 고전적 방법 대비 차원 d에서 제곱근 속도 향상을 달성하는 라소 회귀를 위한 양자 알고리즘을 제안한다. 이는 라소 문제에 대해 최초로 다항로그 인자까지의 정밀도로 날카로운 고전적 하한을 증명하는 데 성공하며, 릿지 회귀는 d에 대해 선형 스케일링을 초과한 양자 속도 향상이 없다는 것을 보여준다.

ABSTRACT

Lasso and Ridge are important minimization problems in machine learning and statistics. They are versions of linear regression with squared loss where the vector $θ\in\mathbb{R}^d$ of coefficients is constrained in either $\ell_1$-norm (for Lasso) or in $\ell_2$-norm (for Ridge). We study the complexity of quantum algorithms for finding $\varepsilon$-minimizers for these minimization problems. We show that for Lasso we can get a quadratic quantum speedup in terms of $d$ by speeding up the cost-per-iteration of the Frank-Wolfe algorithm, while for Ridge the best quantum algorithms are linear in $d$, as are the best classical algorithms. As a byproduct of our quantum lower bound for Lasso, we also prove the first classical lower bound for Lasso that is tight up to polylog-factors.

연구 동기 및 목표

• 노름 제약 조건이 있는 라소 및 릿지 회귀의 양자 복잡도를 조사하기 위해.
• 이러한 기초적인 기계학습 문제에서 양자 알고리즘이 고전적 방법보다 속도 향상을 달성할 수 있는지 확인하기 위해.
• 라소 문제에 대해 날카로운 양자 및 고전적 하한을 확립하여 ε 및 d에 대한 의존성에 관한 열린 문제를 해결하기 위해.
• 프랭크-울프 방법의 반복 단계 비용을 줄이기 위해 양자 서브루틴을 사용하는 양자 알고리즘을 개발하기 위해.
• 라소 문제에 대해 양자 하한을 증명하여, 다항로그 인자까지의 정밀도로 최초로 날카로운 고전적 하한을 이끌어내기 위해.

제안 방법

• 기본으로 프랭크-울프 알고리즘을 사용하며, 이는 기울기 정보를 이용해 계수 벡터를 반복적으로 갱신하고, 2d가지 방향 중에서 최선의 방향을 선택한다.
• 각 반복에서 2d가지 방향 중에서 가장 급강하 방향을 찾기 위해 양자 최소값 탐색을 적용한다.
• 오차를 제어할 수 있도록 기울기 항을 근사하기 위해 양자 확률 진폭 추정을 사용하여 손실 함수의 기울기 접근을 효율적으로 가능하게 한다.
• 입력 데이터 포인트 (xi, yi)에 대해 일관된 양자 쿼리 접근을 가능하게 하기 위해 양자 랜덤 액세스 메모리(QRAM) 모델을 도입한다.
• 고전적 경우 O(d)였던 프랭크-울프의 반복 단계 비용을 양자적으로 O(√d)로 감소시키며, O(1/ε)회의 반복을 유지한다.
• 역할 문제와 대칭 집합 탐색 문제로의 감소를 통해 애드버서리 방법과 복합 정리들을 사용하여 양자 하한을 증명한다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 고전적으로 가능한 것 이상의 속도 향상을 라소 회귀에서 차원 d 측면에서 달성할 수 있는가?
• RQ2 라소 회귀에서 ε-최소화자를 찾는 데 있어 최적의 양자 쿼리 복잡도는 무엇이며, 고전적 하한과 어떻게 비교되는가?
• RQ3 릿지 회귀는 어떤 양자 속도 향상도 허용하는가, 아니면 그 양자 복잡도가 점근적으로 고전적 복잡도와 동일한가?
• RQ4 양자 알고리즘은 프랭크-울프의 반복 횟수를 줄일 수 있는가, 아니면 오직 반복 비용만을 줄일 수 있는가?
• RQ5 라소의 고전적 하한은 다항로그 인자까지 날카로운가, 그리고 양자 기법이 이를 증명하는 데 도움이 되는가?

주요 결과

• 라소를 위한 양자 알고리즘은 Õ(√d/ε²)의 시간 복잡도를 달성하여, 고전적 알고리즘의 Õ(d/ε²) 대비 차원 d에서 제곱근 속도 향상을 제공한다.
• 라소에 대한 양자 하한은 Ω(√d/ε¹.⁵)이며, 이는 다항로그 인자까지의 정밀도로 날카로운 고전적 하한 Ω(d/ε²)를 이끌어내는 최초의 하한이다.
• 릿지 회귀의 경우 최고의 양자 알고리즘과 고전 알고리즘 모두 Õ(d/ε²)로 스케일링되며, d 또는 ε에 대해 추가적인 양자 속도 향상이 없다는 것을 보여준다.
• 논문은 고전적 하한이 다항로그 인자까지 날카로운지 증명하여 고전 최적화 이론에서 열려 있던 문제를 해결한다.
• 대칭 집합 탐색 문제에서 릿지 회귀로의 감소를 통해 릿지 문제에 대해 Ω(d/ε)의 양자 쿼리 하한을 증명하며, 이는 고전적 하한과 일치한다.
• 결과적으로, 볼록 최적화에서의 양자 속도 향상은 문제에 따라 크게 달라지며, 라소는 반복 비용의 양자 가속을 얻지만, 릿지 회귀는 그렇지 않음을 보여준다.