[論文レビュー] Exponential Quantum Communication Advantage in Distributed Inference and Learning

Dar Gilboa, Jarrod R. McClean+2 more|arXiv (Cornell University)|Oct 11, 2023

Quantum Computing Algorithms and Architecture被引用数 4

ひとこと要約

この論文は、パラメトリックな量子回路を用いてデータを符号化することで、トレーニングおよび推論における通信コストを指数関数的に削減する、分散機械学習のための量子通信フレームワークを提案する。量子干渉を活用することで、特殊なデータアクセスモデルに依存せずに、深く非線形なモデルにおいて通信複雑性に指数関数的量子優位性を達成する。また、量子力学による固有のプライバシー保護も提供する。

ABSTRACT

Training and inference with large machine learning models that far exceed the memory capacity of individual devices necessitates the design of distributed architectures, forcing one to contend with communication constraints. We present a framework for distributed computation over a quantum network in which data is encoded into specialized quantum states. We prove that for models within this framework, inference and training using gradient descent can be performed with exponentially less communication compared to their classical analogs, and with relatively modest overhead relative to standard gradient-based methods. We show that certain graph neural networks are particularly amenable to implementation within this framework, and moreover present empirical evidence that they perform well on standard benchmarks. To our knowledge, this is the first example of exponential quantum advantage for a generic class of machine learning problems that hold regardless of the data encoding cost. Moreover, we show that models in this class can encode highly nonlinear features of their inputs, and their expressivity increases exponentially with model depth. We also delineate the space of models for which exponential communication advantages hold by showing that they cannot hold for linear classification. Our results can be combined with natural privacy advantages in the communicated quantum states that limit the amount of information that can be extracted from them about the data and model parameters. Taken as a whole, these findings form a promising foundation for distributed machine learning over quantum networks.

研究の動機と目的

• 古典的データとモデルが個々のデバイスのメモリを超える分散機械学習における通信ボトル neck を解決すること。
• 量子通信が、広範な機械学習モデルのトレーニングおよび推論において通信コストを指数関数的に削減できることを示すこと。
• データ符号化コストを考慮してもこの優位性が保たれること、およびスパースまたは特殊目的のデータアクセスモデルに限定されないこと。
• 符号化の結果として生じる優位性ではなく、非線形分類器に対しては優位性が消失することを示し、量子優位性が符号化に起因しないことを確立すること。
• 分散学習における量子表現力、モデルの深さ、通信効率の間の相互作用を調査すること。

提案手法

• パラメトリックな量子回路を用いてデータを量子状態に符号化し、量子ネットワーク上で分散推論およびトレーニングを実行する。
• 損失および勾配の量子支援推定を用いて勾配降下法を実行し、測定結果を用いてパラメータを更新する。
• フレームワークは、量子干渉と振幅符号化を活用し、量子状態の振幅に非線形特徴を表現する。
• 情報理論的境界を用いて通信複雑性を分析し、量子プロトコルと古典プロトコルの間で指数的分離を示す。
• 勾配推定にシャドウトモグラフィーに類似した技術を用いるが、論文では反復間で相関を再利用できないため、これが最適でない可能性があると指摘している。
• 勾配推定だけでなく、全トレーニングプロセスが指数的通信優位性を達成する回路のサブクラスを同定した。

実験結果

リサーチクエスチョン

• RQ1 密度のある古典的データを用いた分散機械学習において、量子通信が通信コストを指数関数的に削減できるか？
• RQ2 量子状態へのデータ符号化コストを考慮しても、量子優位性が維持されるか？
• RQ3 通信優位性は非線形モデルに特有のものであり、線形分類器に対しても成立するか？
• RQ4 表現力が深さに指数関数的に増加するように、量子回路を設計できるか？ その際、通信オーバーヘッドは低く保たれるか？
• RQ5 QRAMのような複雑なデータアクセスモデルを必要とせずに、通信における量子優位性をどの程度達成できるか？

主な発見

• パラメトリックな量子回路の広いクラスに対して、量子通信は勾配推定および完全なトレーニングにおいて、古典的プロトコルと比較して通信コストを指数関数的に削減可能である。
• 通信優位性は符号化の結果ではなく、線形分類器では成立しないため、非線形表現力と量子干渉に起因していることが示された。
• ユニタリ推移の再帰的合成により、状態の振幅に非線形特徴を符号化するため、モデルの表現力は深さに伴い指数関数的に増加する。
• フレームワークはホルボーの定理により、送信された量子状態から抽出可能な古典的情報量を制限するため、固有のプライバシー保護を提供する。
• QRAM やスパース性の仮定を必要とせず、近位量子デバイスの現実的なノイズモデルに対してもロバストである。
• 事前学習済み特徴を用いたファインチューニングに用いられる回路のサブクラスでは、凸性の仮定のもとで、全トレーニングプロセスが指数的通信コスト削減の恩恵を受ける。