[논문 리뷰] Gradient Estimation with Constant Scaling for Hybrid Quantum Machine Learning

Thomas Hoffmann, Douglas Brown|arXiv (Cornell University)|2022. 11. 25.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 하이브리드 양자 기계 학습을 위한 새로운 기울기 추정 방법인 동시 섭동을 통한 확률적 역전파(Simultaneous Perturbation for Stochastic Backpropagation, SPSB)를 소개한다. 이 방법은 회로 매개변수에 대해 일정한 스케일링을 달성하여, 매 순방향 전파마다 매개변수의 수와 관계없이 항상 두 번의 회로 평가만으로도 가능하다. SPSB는 최적의 학습률을 사용할 때조차도 매개변수 이동 규칙보다 최대 90퍼센트 적은 회로 평가를 통해 수렴 속도에서 뛰어난 성능을 보이며, 특히 더 큰 모델과 더 큰 배치 크기에서 두드러진다.

ABSTRACT

We present a novel method for determining gradients of parameterised quantum circuits (PQCs) in hybrid quantum-classical machine learning models by applying the multivariate version of the simultaneous perturbation stochastic approximation (SPSA) algorithm. The gradients of PQC layers can be calculated with an overhead of two evaluations per circuit per forward-pass independent of the number of circuit parameters, compared to the linear scaling of the parameter shift rule. These are then used in the backpropagation algorithm by applying the chain rule. We compare our method to the parameter shift rule for different circuit widths and batch sizes, and for a range of learning rates. We find that, as the number of qubits increases, our method converges significantly faster than the parameter shift rule and to a comparable accuracy, even when considering the optimal learning rate for each method.

연구 동기 및 목표

• 매개변수 양이 증가함에 따라 기울기 추정의 높은 계산 비용 문제를 해결하기 위해.
• 하이브리드 양자-클래식 기계 학습 모델에서 역전파를 위한 확장 가능한 일반 목적의 방법을 개발하기 위해.
• 최적화 단계당 회로 평가 횟수를 최소화하여 NISQ 시대의 양자 하드웨어에서 효율적인 학습을 가능하게 하기 위해.
• 다양한 모델 크기, 배치 크기, 학습률에서 제안된 방법의 성능을 표준 매개변수 이동 규칙과 비교하기 위해.
• SPSB가 유의미하게 빠른 학습 속도와 확장성을 확보하면서도 정확도는 유사하게 유지함을 입증하기 위해.

제안 방법

• 이 방법은 다변수 형태의 동시 섭동 확률적 근사(Simultaneous Perturbation Stochastic Approximation, SPSA) 알고리즘을 적용하여 PQCs의 역전파 자동 미분에서 기울기를 추정한다.
• 매개변수의 수와 무관하게 순방향 전파당 항상 두 번의 회로 평가만으로 야생행렬(Jacobian)을 계산함으로써 일정한 스케일링을 달성한다.
• 사슬 법칙을 통해 기울기를 백프로파게이션 프레임워크에 통합하여 하이브리드 모델의 종단 간 최적화를 가능하게 한다.
• 기울기를 확률적으로 근사하기 위해 매개변수 공간에서 통계적 섭동을 활용함으로써 정확한 해석적 이동에 대한 의존도를 감소시킨다.
• 기본 최적화기인 Adam과 SGD와의 호환성이 있으며, 양자 전용 및 하이브리드 양자-클래식 모델 모두에 적용 가능하다.
• 배치 처리를 지원하며, 여러 야생행렬 평가의 평균을 통해 노이즈를 완화할 수 있다.

실험 결과

연구 질문

• RQ1 회로 깊이에 대해 선형적으로 스케일링되지만 매개변수의 수와는 무관한 기울기 추정 방법을 개발할 수 있는가?
• RQ2 다양한 모델 크기와 배치 크기에서 제안된 SPSB 방법이 매개변수 이동 규칙과 비교해 수렴 속도와 최종 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 SPSB의 최적 학습률은 무엇이며, 매개변수 이동 규칙의 최적 학습률과 비교해 볼 때 어떻게 다른가?
• RQ4 향후 NISQ 장치에서 일반적인 큰 매개변수 수와 다양한 노이즈 수준에서도 SPSB는 성능 우위를 유지하는가?
• RQ5 SPSB는 Adam이나 양자 자연 최적화 방법과 같은 고급 최적화기와 효과적으로 조합될 수 있는가?

주요 결과

• 최적의 학습률을 사용할 때 SPSB는 매개변수 이동 규칙보다 유의미하게 더 빠르게 수렴하며, 최대 90퍼센트 적은 회로 평가로 유사한 정확도를 달성한다.
• 랜덤 데이터 분류 작업에서 학습률 0.01을 사용한 SPSB는 학습률 0.5를 사용한 매개변수 이동 규칙보다 평가 효율성이 뛰어나다.
• ‘quanvolutional’ MNIST 작업에서는 두 방법 모두 최적의 학습률을 사용할 때 SPSB가 매개변수 이동 규칙보다 더 빠르게 수렴한다.
• 이 방법은 통계적 노이즈에 강건하며, 손실 곡면의 평평한 골짜기에서 벗어나는데 도움이 되는 큰 배치 크기와 잘 어울린다.
• 낮은 학습률(예: 0.01–0.05)에서 SPSB가 가장 잘 작동하며, 높은 학습률(예: 0.5)은 불안정성과 수렴 불가를 유도한다.
• 이 방법은 기존의 양자 기계 학습 라이브러리와 호환되며, 기울기 가능 양자 회로를 지원하는 프레임워크에 쉽게 통합될 수 있다.