[논문 리뷰] Learning with Optimized Random Features: Exponential Speedup by Quantum Machine Learning without Sparsity and Low-Rank Assumptions

Hayata Yamasaki, Sathyawageeswar Subramanian외 2명|arXiv (Cornell University)|2020. 04. 22.

Quantum Computing Algorithms and Architecture인용 수 7

한 줄 요약

이 논문은 데이터에 의존하는 확률분포에서 최적화된 랜덤 특징을 추출하는 양자 기계학습 알고리즘을 제안하며, 고전적 방법 대비 런타임에서 지수적 속도 향상을 달성한다. 양자 확률 강화와 상태 준비를 활용하여 알고리즘은 O(D) 시간 내에 특징을 추출하며, 희소성이나 낮은 질서 가정 없이도 더 빠른 회귀 및 학습을 가능하게 하여 커널 기반 학습 작업을 가속화한다.

ABSTRACT

Kernel methods augmented with random features give scalable algorithms for learning from big data. But it has been computationally hard to sample random features according to a probability distribution that is optimized for the data, so as to minimize the required number of features for achieving the learning to a desired accuracy. Here, we develop a quantum algorithm for sampling from this optimized distribution over features, in runtime $O(D)$ that is linear in the dimension $D$ of the input data. Our algorithm achieves an exponential speedup in $D$ compared to any known classical algorithm for this sampling task. In contrast to existing quantum machine learning algorithms, our algorithm circumvents sparsity and low-rank assumptions and thus has wide applicability. We also show that the sampled features can be combined with regression by stochastic gradient descent to achieve the learning without canceling out our exponential speedup. Our algorithm based on sampling optimized random features leads to an accelerated framework for machine learning that takes advantage of quantum computers.

연구 동기 및 목표

• 정확한 학습에 필요한 특징 수를 크게 줄일 수 있는 것으로 알려진 최적화된 확률분포 q*ε(v)에서의 샘플링의 계산 비가역성 문제를 해결한다.
• 입력 차원 D에 따라 악화되는 고차원 연산자 (Σ + ε𝕀)⁻¹의 역행렬 계산이라는 고전적 한계를 극복한다.
• 입력 차원 D에 대해 선형 런타임 O(D)을 달성하는 양자 알고리즘을 개발하여 고전적 샘플링 방법 대비 지수적 속도 향상을 이룬다.
• 스토하스틱 그래디언트 디센트 회귀와 같은 후속 학습 작업과 함께 특징 샘플링을 통합했을 때도 양자 속도 향상이 유지되는지 보장한다.
• 희소성 또는 낮은 질서 구조에 대한 제한적인 가정을 피함으로써, 다양한 데이터나 커널에 광범위하게 적용 가능한 알고리즘을 개발한다.

제안 방법

• 최적화된 확률분포 q*ε(v)를 양자 상태에 인코딩하기 위해 양자 확률 강화와 확률 추정을 사용한다.
• Q(vm)이 최적화된 샘플링 확률인 상태 |ψ⟩ = ∑ₘ √Q(vm) |m⟩ ⊗ |φ(vm, x)⟩를 구성하여 특징의 효율적 샘플링을 가능하게 한다.
• 초기 상태 준비를 위한 양자 회로를 사용하고, M개의 특징 인덱스에 대해 균일한 중첩을 생성한 후, 확률 강화를 적용하여 최적화된 분포에서 샘플링한다.
• 각 평가당 O(D) 시간이 소요되는 초월 상태에서 내적 vₘ·x와 특징 맵 φ(vm, x) = e⁻²πi vₘ·x를 평가하는 양자 오ракulum을 구현한다.
• 파arameterized 양자 회로를 사용해 초기 상태를 준비하고, 하다드 게이트를 적용해 M개의 특징 인덱스에 대해 균일한 중첩을 생성한 후, 확률 강화를 통해 최적화된 분포에서 샘플링한다.
• 양자 특징 샘플링을 고전적 회귀와 결합하여 스토하스틱 그래디언트 디센트를 수행하며, 전체적인 양자 속도 향상이 고전적 계산에 의해 상쇄되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 고차원 연산자 역행렬 계산으로 인해 고전적으로 비가역적인 최적화된 랜덤 특징 분포 q*ε(v)에서의 샘플링에 대해 양자 알고리즘이 지수적 속도 향상을 달성할 수 있는가?
• RQ2 스토하스틱 그래디언트 디센트나 릿지 회귀와 같은 후속 학습 작업과 통합했을 때 제안된 양자 알고리즘이 속도 향상을 유지하는가?
• RQ3 양자 알고리즘이 데이터나 커널 행렬의 희소성 또는 낮은 질서 구조에 대한 일반적인 가정을 피할 수 있는가? 이를 통해 적용 범위를 넓힐 수 있는가?
• RQ4 입력 차원 D에 대한 양자 알고리즘의 런타임 스케일링은 어떻게 되며, 고전적 샘플링 방법과 비교해 볼 때 어떤가?
• RQ5 양자로 샘플링된 최적화된 특징을 사용할 경우 학습 작업에 대해 증명 가능한 수렴 속도를 확보할 수 있으며, 이는 최소 샘플링 확률 Q_min에 어떻게 의존하는가?

주요 결과

• 양자 알고리즘은 최적화된 분포 q*ε(v)에서의 샘플링에 대해 O(D)의 런타임을 달성하여, worst-case 기준으로 O(exp(D)) 시간이 소요되는 고전적 방법 대비 지수적 속도 향상을 제공한다.
• 스토하스틱 그래디언트 디센트를 통한 회귀와 결합했을 때도 알고리즘은 지수적 속도 향상을 유지하며, 총 런타임은 O(MD + T_x + T_y)로 제한된다. 여기서 M은 특징 수이고, T_x, T_y는 데이터 접근 시간이다.
• 수렴에 필요한 반복 수는 T = O(1/(ε²Q_min²) log(1/δ))로 유계이며, 여기서 ε는 목표 정확도이고 Q_min는 최소 샘플링 확률이다.
• 희소성 또는 낮은 질서 가정이 필요 없어지므로, 가우시안 커널 및 서브가우시안 데이터를 포함한 다양한 커널 방법에 적용 가능하다.
• 이론적 분석을 통해 알고리즘에서 사용된 그래디언트 추정치가 비편향이면서 유계임을 확인하여, 높은 확률로 최적 해에 수렴함을 보장한다.
• 최적화된 샘플링 분포 q*ε(v) 덕분에, 고전적 데이터 독립 분포에서 샘플링한 랜덤 특징 대비 기하급수적으로 적은 특징 수로 학습이 가능하다.