[論文レビュー] A Universal Training Algorithm for Quantum Deep Learning

Guillaume Verdon, Jason Pye+1 more|arXiv (Cornell University)|Jun 25, 2018

Quantum Computing Algorithms and Architecture参考文献 6被引用数 73

ひとこと要約

本論文は Baqprop を量子ネイティブなバックプロパゲーション原理として導入し、量子パラメトリック回路と古典的ニューラルネットワークの両方を量子ハードウェア上で訓練するための普遍的な量子最適化ヒューリスティックスである Quantum Dynamical Descent (QDD) と Momentum Measurement Gradient Descent (MoMGrad) を構築し、代表的な応用における数値的デモンストレーションを示す。

ABSTRACT

We introduce the Backwards Quantum Propagation of Phase errors (Baqprop) principle, a central theme upon which we construct multiple universal optimization heuristics for training both parametrized quantum circuits and classical deep neural networks on a quantum computer. Baqprop encodes error information in relative phases of a quantum wavefunction defined over the space of network parameters; it can be thought of as the unification of the phase kickback principle of quantum computation and of the backpropagation algorithm from classical deep learning. We propose two core heuristics which leverage Baqprop for quantum-enhanced optimization of network parameters: Quantum Dynamical Descent (QDD) and Momentum Measurement Gradient Descent (MoMGrad). QDD uses simulated quantum coherent dynamics for parameter optimization, allowing for quantum tunneling through the hypothesis space landscape. MoMGrad leverages Baqprop to estimate gradients and thereby perform gradient descent on the parameter landscape; it can be thought of as the quantum-classical analogue of QDD. In addition to these core optimization strategies, we propose various methods for parallelization, regularization, and meta-learning as augmentations to MoMGrad and QDD. We introduce several quantum-coherent adaptations of canonical classical feedforward neural networks, and study how Baqprop can be used to optimize such networks. We develop multiple applications of parametric circuit learning for quantum data, and show how to perform Baqprop in each case. One such application allows for the training of hybrid quantum-classical neural-circuit networks, via the seamless integration of Baqprop with classical backpropagation. Finally, for a representative subset of these proposed applications, we demonstrate the training of these networks via numerical simulations of implementations of QDD and MoMGrad.

研究の動機と目的

• 量子パラメトリックネットワークの訓練のために、位相キックバックと古典的バックプロパゲーションを統合する量子ネイティブなバックプロパゲーション原理（Baqprop）を動機づけ・定式化する。
• Baqprop を活用して量子およびハイブリッド古典-量子ネットワークの訓練を実現する二つの中核最適化ヒューリスティック（QDD と MoMGrad）を開発する。
• Baqprop を適用して量子ニューラルネットワークおよびパラメトリック回路モデルの幅広いタスクに対する augmentation 技法（並列化、正則化、メタラーニング）を提案・適用する。
• QDD および MoMGrad を用いた訓練の実現可能性を数値シミュレーションによって示す。
• 古典と量子の深層学習理論を橋渡しし、量子およびハイブリッドアーキテクチャ全体にわたるシームレスな最適化を可能にする。

提案手法

• 誤差情報をネットワークパラメータに対する量子波動関数の相対位相に埋め込むものとして Baqprop を導入する。
• Quantum Dynamical Descent (QDD) を、効果的ポテンシャル下でのシミュレーテッドシュレディンガー動力学を用いた完全に量子的にコヒーレントなパラメータ最適化として定義する。
• Momentum Measurement Gradient Descent (MoMGrad) を、Baqprop により生じる位相キックを量子-古典的に測定して勾配を推定し、古典的なようなパラメータ更新へ適用する方法として定義する。
• BaQprop による訓練を可能にする、古典的ニューラルネットワークアーキテクチャの量子コヒーレント適応を提供し、それらの訓練を Baqprop で議論する。
• QDD および MoMGrad を augmentation する並列化、正則化、メタラーニングのスキームを概説する。
• QDD を QAOA および QAA の概念と関連づけ、既知の量子最適化パラダイム内に方法を位置づける。

実験結果

リサーチクエスチョン

• RQ1 Baqprop は 量子ハードウェア上でパラメトリックネットワークを訓練するために勾配情報を量子ネイティブにエンコードするにはどうすればよいか？
• RQ2 QDD と MoMGrad は、量子パラメトリック回路およびハイブリッド量子-古典ネットワークを、古典的バックプロパゲーションと同等またはそれ以上の性能で効果的に最適化できるか？
• RQ3 Baqprop ベースの訓練を高める augmentation 戦略（並列化、正則化、メタラーニング）は何か？
• RQ4 Baqprop によって示される代表的な量子ニューラルネットワークおよびパラメトリック回路タスクは数値シミュレーションで訓練可能であるか？

主な発見

• Baqprop は位相キックバックとバックプロパゲーションを統一的に結びつける見方を提供し、勾配情報が量子パラメトリックネットワークを通じて伝播することを可能にする。
• 2 つの中核的最適化戦略として、Quantum Dynamical Descent (QDD) と Momentum Measurement Gradient Descent (MoMGrad) が提案される。
• QDD はコヒーレントな量子ダイナミクスを用いて仮説空間をナビゲートし、荒い地形をトンネルする可能性を持つ。一方 MoMGrad は位相キックを量子-古典的に測定して勾配を推定する。
• このフレームワークは、量子コヒーレントなニューラルネットワーク、量子パラメトリック回路、および古典的バックプロパゲーションとの統合を含むハイブリッド量子-古典ネットワークをサポートする。
• 本論文は、提案アプリケーションの代表的サブセットに対して QDD および MoMGrad を用いた訓練を数値シミュレーションで示している。
• 並列化、正則化（ウェイト減衰、ドロップアウト）、量子メタラーニングといった augmentation を通じて性能を高めることを議論している。