[논문 리뷰] Towards provably efficient quantum algorithms for large-scale machine-learning models

Junyu Liu, Minzhao Liu외 6명|arXiv (Cornell University)|2023. 03. 06.

Stochastic Gradient Optimization Techniques참고 문헌 92인용 수 4

한 줄 요약

이 논문은 수정된 HHL 유형 알고리즘을 통해 양자 강화 경사하강법을 활용하여 대규모 머신러닝을 위한 증명 가능하게 효율적인 고장 내성 양자 알고리즘을 제안한다. 희소하고 소산성 모델을 훈련하는 데 이론적 스케일링 𝒪(T² × polylog(n))을 달성하며, 정규화 이후 초기 훈련 단계에서 잠재적인 양자 가속을 보이며, 최대 103만 개 파라미터까지의 수치적 증거를 제시한다.

ABSTRACT

Large machine learning models are revolutionary technologies of artificial intelligence whose bottlenecks include huge computational expenses, power, and time used both in the pre-training and fine-tuning process. In this work, we show that fault-tolerant quantum computing could possibly provide provably efficient resolutions for generic (stochastic) gradient descent algorithms, scaling as O(T^2 polylog(n)), where n is the size of the models and T is the number of iterations in the training, as long as the models are both sufficiently dissipative and sparse, with small learning rates. Based on earlier efficient quantum algorithms for dissipative differential equations, we find and prove that similar algorithms work for (stochastic) gradient descent, the primary algorithm for machine learning. In practice, we benchmark instances of large machine learning models from 7 million to 103 million parameters. We find that, in the context of sparse training, a quantum enhancement is possible at the early stage of learning after model pruning, motivating a sparse parameter download and re-upload scheme. Our work shows solidly that fault-tolerant quantum algorithms could potentially contribute to most state-of-the-art, large-scale machine-learning problems.

연구 동기 및 목표

• 대규모 머신러닝 모델을 훈련하기 위한 이론적으로 탄탄한, 증명 가능하게 효율적인 양자 알고리즘을 개발하는 것.
• GPT-3와 같은 대규모 모델을 훈련하는 데 높은 계산 비용과 탄소 배출량이 발생하는 문제를 해결하는 것.
• 양자 알고리즘이 표준 머신러닝 워크플로우에서 고전적 대안보다 뛰어날 수 있는 조건을 규명하는 것.
• 변량 양자 알고리즘에서 벗어나 고전적 훈련의 핵심 병목 현상에 대한 종단 간 양자 가속으로의 초점을 이동시키는 것.
• 특히 희소성과 소산성 설정에서 경사하강법에 대한 양자 가속의 이론적 보장을 수립하는 것.

제안 방법

• 소산성 미분 방정식를 위한 효율적인 양자 알고리즘을 적응하여 (스토케스틱) 경사하강 문제를 해결한다.
• 희소 행렬 역행렬을 가속화하기 위해 수정된 HHL 알고리즘을 적용하여 신경망 훈련에서 가중치 갱신을 가속화한다.
• 양자 가속이 이론적으로 가능하도록 하기 위해 모델의 희소성과 소산성에 제약을 부과한다.
• 비선형 최적화 문제를 양자 미분 방정식 해법기로 풀 수 있는 형태로 훈련 동역학을 선형화한다.
• 정규화 이후 파라미터 다운로드 및 재업로드 체계를 도입하여 희소 모델 상태의 양자 처리를 가능하게 한다.
• 고장 내성 양자 컴퓨팅 가정에 의존하여 오류 내성과 증명 가능 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 고장 내성 양자 알고리즘이 머신러닝에서 대규모 경사하강 문제에 대해 증명 가능하게 효율적인 해결책을 제공할 수 있는가?
• RQ2 특히 희소성과 소산성 조건에서 실질적으로 양자 알고리즘이 고전적 훈련을 능가할 수 있는가?
• RQ3 모델 정규화 이후 초기 훈련 단계에서 양자 우월성이 존재하는가, 특히 오류 증가가 지수적으로 증가하기 이전 단계에서?
• RQ4 양자 강화 경사하강법이 이론적 보장을 갖는 표준 머신러닝 파ipeline에 통합될 수 있는가?
• RQ5 대규모 모델 훈련에서 양자 가속을 유지하는 데 있어 소산성과 희소성의 형식적 기준은 무엇인가?

주요 결과

• 제안된 양자 알고리즘은 대규모, 희소적, 소산성 모델 훈련에 대해 이론적 런타임 스케일링 𝒪(T² × polylog(n))을 달성한다.
• 수치적 벤치마크 결과는 정규화 이후 초기 훈련 단계에서 특히 희소 파라미터 영역에서 잠재적인 양자 향상이 있음을 보여준다.
• 모델 크기와 관계없이 알고리즘이 강건하며, 최대 103만 개 파라미터까지 성공적인 시뮬레이션을 수행하여 확장 가능성을 시사한다.
• 이 알고리즘은 Tang의 방법과 같은 고전적 방법으로 탈량자화되지 않으며, 비선형 소산성 동역학을 통해 BQP-하드 문제를 해결하기 때문이다.
• 이론적 틀은 로또 티켓 가설과 일치한다. 희소성이 일정하거나 다항식적으로 감소하더라도 성능을 유지한다.
• 이 작업은 고전적 훈련의 종단 간 양자 가속을 위한 프레임워크를 제공하며, 변량 알고리즘에서 핵심 최적화 병목 현상으로의 초점을 이동시킨다.