[논문 리뷰] No Quantum Speedup over Gradient Descent for Non-Smooth Convex Optimization

Ankit Garg, Robin Kothari외 2명|arXiv (Cornell University)|2020. 10. 05.

Quantum Computing Algorithms and Architecture참고 문헌 25인용 수 1

한 줄 요약

이 논문은 비연속 함수에 대한 블랙박스 1차 충실한 볼록 최적화에서 양자 알고리즘이 고전적 경사하강법보다 성능 향상을 이룰 수 없음을 입증한다. 함수와 하중하강의 양자 질의 접근 방식이 있더라도 말이다. 비록 특정 하드 인스턴스에 대해 양자 알고리즘이 O(GR/ϵ) 쿼리 내에 해결할 수 있지만, 저자들은 엄밀한 Ω((GR/ϵ)²)의 양자 쿼리 하한선을 증명하여, 추가적인 함수 가정 없이 차원에 의존하지 않는 영역에서는 일반적인 양자 이점이 존재하지 않음을 보여준다.

ABSTRACT

We study the first-order convex optimization problem, where we have black-box access to a (not necessarily smooth) function $f:\mathbb{R}^n o \mathbb{R}$ and its (sub)gradient. Our goal is to find an $ε$-approximate minimum of $f$ starting from a point that is distance at most $R$ from the true minimum. If $f$ is $G$-Lipschitz, then the classic gradient descent algorithm solves this problem with $O((GR/ε)^{2})$ queries. Importantly, the number of queries is independent of the dimension $n$ and gradient descent is optimal in this regard: No deterministic or randomized algorithm can achieve better complexity that is still independent of the dimension $n$. In this paper we reprove the randomized lower bound of $Ω((GR/ε)^{2})$ using a simpler argument than previous lower bounds. We then show that although the function family used in the lower bound is hard for randomized algorithms, it can be solved using $O(GR/ε)$ quantum queries. We then show an improved lower bound against quantum algorithms using a different set of instances and establish our main result that in general even quantum algorithms need $Ω((GR/ε)^2)$ queries to solve the problem. Hence there is no quantum speedup over gradient descent for black-box first-order convex optimization without further assumptions on the function family.

연구 동기 및 목표

• . 이 논문은 블랙박스 1차 볼록 최적화 설정에서 양자 알고리즘이 고전적 경사하강법보다 우월할 수 있는지 조사한다.
• . G-립시츠 연속인 비연속 볼록 함수에 초점을 맞추며, 이 경우 고전적 경사하강법은 O((GR/ϵ)²)의 쿼리 복잡도를 달성한다.
• . 양자 알고리즘이 이 고전적 복잡도 한계를 뛰어넘을 수 있는지 여부를 규명하는 것이 목적이다.
• . 추가적인 함수 구조 없이도 엄밀한 양자 쿼리 하한선을 확립하는 것이 저자들의 목표이다.
• . 특정 인스턴스에서 알려진 양자 가속과 블랙박스 모델에서의 일반적인 양자 이점 불가능성 사이의 격차를 메우고자 한다.

제안 방법

• . 저자들은 이전 연구보다 더 단순한 추론을 사용하여 Ω((GR/ϵ)²)의 고전적 랜덤화 하한선을 재증명한다.
• . 랜덤화 알고리즘에 대해 어렵지만 O(GR/ϵ)의 양자 쿼리 내에 해결 가능한 비연속 볼록 함수의 특정 가족을 구성한다.
• . 다른 함수 인스턴스 집합을 사용하여 새로운 양자 하한선을 확립함으로써, 양자 알고리즘이도 Ω((GR/ϵ)²)의 쿼리가 필요함을 보여준다.
• . 높은 차원의 구 안에서의 랜덤 벡터와 농도 집합의 확률론적 추론을 사용하여 성공적인 최적화 가능성의 확률을 제한한다.
• . 하중하강 오라클과 선형 함수의 최대값 성질을 활용하여 함수 클래스 fV(x) = max_i ⟨vi, x⟩를 모델링한다.
• . 하이브리드 추론과 랜덤 벡터 투영의 유니온 바운드를 사용하여, k개 이하의 쿼리를 수행하는 어떤 알고리즘도 높은 확률로 함수 인스턴스를 구별할 수 없음을 보여 양자 하한선을 유도한다.

실험 결과

연구 질문

• RQ1 . 비연속 볼록 최적화에서 블랙박스 1차 설정에서 양자 알고리즘이 고전적 경사하강법보다 성능 향상을 이룰 수 있는가?
• RQ2 . 이 설정에서 양자 알고리즘이 고전적 방법보다 증명 가능한 가속을 달성할 수 있는 함수의 어떤 클래스가 존재하는가?
• RQ3 . fV(x) = max_i ⟨vi, x⟩ 이며 γ = 0인 더 단순한 함수 클래스를 사용하여 양자 하한선를 확립할 수 있는가?
• RQ4 . 경사하강법이 다른 고전적 방법보다 뛰어난 차원 의존적 영역에서 가장 날카로운 양자 쿼리 복잡도 하한선은 무엇인가?
• RQ5 . 부드러운 함수나 프록시 오라클 모델과 같은 다른 볼록 최적화 설정에서 양자 알고리즘이 어떤 이점도 제공하는가?

주요 결과

• . 고전적 경사하강법은 G-립시츠 연속인 비연속 볼록 함수를 최소화할 때 O((GR/ϵ)²)의 쿼리 복잡도를 달성한다.
• . 이전 연구보다 더 단순한 추론을 사용하여 Ω((GR/ϵ)²)의 고전적 랜덤화 하한선을 재증명한다.
• . 랜덤화 하한선에 사용된 특정 함수 가족은 O(GR/ϵ)의 양자 쿼리 내에 해결 가능하여, 해당 인스턴스에서 잠재적인 양자 가속을 보여준다.
• . 그러나 저자들은 다른 함수 가족을 사용하여 Ω((GR/ϵ)²)의 새로운 양자 하한선을 확립함으로써 일반적인 양자 이점이 존재하지 않음을 증명한다.
• . 이 결과는 비연속 볼록 최적화에서 블랙박스 1차 설정에서 양자 알고리즘이 고전적 경사하강법을 능가할 수 없다는 것을 암시한다.
• . 이 논문은 특정 인스턴스에서 알려진 양자 가속과 이 설정에서의 일반적인 양자 이점 불가능성 사이의 격차를 메꾼다.