[논문 리뷰] Exponential Quantum Communication Advantage in Distributed Inference and Learning

Dar Gilboa, Jarrod R. McClean외 2명|arXiv (Cornell University)|2023. 10. 11.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 밀도 높은 고전적 데이터를 갖는 분산 기계학습 환경에서, 매개변수화된 양자 회로를 사용하여 학습 및 추론 시 통신 비용을 지수적으로 감소시키는 양자 통신 프레임워크를 제안한다. 데이터를 양자 상태에 인코딩하고 양자 간섭을 활용함으로써, 특수한 데이터 액세스 모델에 의존하지 않고도 깊고 비선형적인 모델에 대해 통신 복잡도에서 지수적 양자 우위를 달성한다. 동시에 양자역학에 기반한 내재적 프라이버시도 제공한다.

ABSTRACT

Training and inference with large machine learning models that far exceed the memory capacity of individual devices necessitates the design of distributed architectures, forcing one to contend with communication constraints. We present a framework for distributed computation over a quantum network in which data is encoded into specialized quantum states. We prove that for models within this framework, inference and training using gradient descent can be performed with exponentially less communication compared to their classical analogs, and with relatively modest overhead relative to standard gradient-based methods. We show that certain graph neural networks are particularly amenable to implementation within this framework, and moreover present empirical evidence that they perform well on standard benchmarks. To our knowledge, this is the first example of exponential quantum advantage for a generic class of machine learning problems that hold regardless of the data encoding cost. Moreover, we show that models in this class can encode highly nonlinear features of their inputs, and their expressivity increases exponentially with model depth. We also delineate the space of models for which exponential communication advantages hold by showing that they cannot hold for linear classification. Our results can be combined with natural privacy advantages in the communicated quantum states that limit the amount of information that can be extracted from them about the data and model parameters. Taken as a whole, these findings form a promising foundation for distributed machine learning over quantum networks.

연구 동기 및 목표

• 고전적 데이터와 모델이 개별 장치의 메모리 용량을 초과하는 분산 기계학습의 통신 병목 현상 해결
• 양자 통신이 광범위한 기계학습 모델의 학습 및 추론 과정에서 통신 비용을 지수적으로 감소시킬 수 있음을 입증
• 데이터 인코딩 비용을 고려하더라도 이 우위가 유지되며, 희박성 또는 특수 목적의 데이터 액세스 모델에 국한되지 않음
• 인코딩의 산물이 아닌 진정한 양자 우위임을 입증하기 위해 선형 분류기에서는 이 우위가 사라짐을 보여줌
• 분산 학습에서 양자 표현력, 모델 깊이, 통신 효율성 간의 상호작용 탐색

제안 방법

• 매개변수화된 양자 회로를 사용해 데이터를 양자 상태에 인코딩함으로써, 양자 네트워크를 통해 분산 추론 및 학습 가능
• 손실 및 기울기의 양자 보조 추정을 통해 경사하강법을 수행하며, 측정 결과를 바탕으로 매개변수를 갱신
• 양자 간섭과 진폭 인코딩을 활용해 양자 상태의 진폭에 비선형 특징을 표현
• 정보 이론적 한계를 통해 통신 복잡도를 분석하고, 양자 프로토콜과 고전적 프로토콜 간의 지수적 분리 결과 도출
• 그라디언트 추정에 영향을 주는 섀도우 토모그래피 유사 기법을 사용하지만, 논문은 반복 간 상관관계 재사용 부족으로 인해 이는 최적화되지 않을 수 있음을 지적함
• 전체 학습 과정에서 지수적 통신 우위를 달성하는 회로의 부분집합을 규명함

실험 결과

연구 질문

• RQ1 밀도 높은 고전적 데이터를 갖는 분산 기계학습에서 양자 통신이 통신 비용을 지수적으로 감소시킬 수 있는가?
• RQ2 양자 상태에 데이터를 인코딩하는 데 드는 비용을 고려할 때도 양자 우위가 유지되는가?
• RQ3 이 통신 우위는 비선형 모델에만 국한되는가, 선형 분류기에도 적용되는가?
• RQ4 표현력이 깊이에 따라 지수적으로 증가하면서도 낮은 통신 오버헤드를 유지할 수 있도록 양자 회로를 설계할 수 있는가?
• RQ5 QRAM과 같은 복잡한 데이터 액세스 모델을 요구하지 않고도 통신 우위를 어느 정도 달성할 수 있는가?

주요 결과

• 매개변수화된 양자 회로의 광범위한 클래스에 대해, 고전적 프로토콜 대비 양자 통신은 기울기 추정 및 전체 학습 과정에서 통신 비용을 지수적으로 감소시킴
• 이 우위는 데이터 인코딩 자체의 결과가 아니며, 선형 분류기에서는 성립하지 않음을 고려할 때 비선형 표현력과 양자 간섭이 이 우위의 근본 원인임을 시사함
• 비선형 특징을 상태 진폭에 인코딩하는 유니타리 연산의 재귀적 조합으로 인해 모델 표현력은 깊이에 따라 지수적으로 증가함
• 프레임워크는 홀로보의 한계를 통해 내재적 프라이버시를 제공하여 전송된 양자 상태에서 추출할 수 있는 고전적 정보의 양을 제한함
• QRAM이나 희박성 가정 없이도 이 우위가 유지되며, 근접한 양자 장치의 현실적인 노이즈 모델에도 강인함
• 예를 들어 사전 학습된 특징을 사용한 미세조정에 사용되는 회로의 부분집합에서는 볼록성 가정 하에 전체 학습 과정에서 지수적 통신 절감 효과를 얻을 수 있음