[論文レビュー] Learning to learn with quantum neural networks via classical neural networks

Guillaume Verdon, Michael Broughton+6 more|arXiv (Cornell University)|Jul 11, 2019

Quantum Computing Algorithms and Architecture参考文献 2被引用数 78

ひとこと要約

本論文は、古典的な再帰ニューラルネットワークを用いて量子ニューラルネットワークのパラメータ更新ヒューリスティックを学習させ、メタ学習を用いてQAOAとVQEのオプティマイザを初期化し、より大きな問題サイズへの一般化を実証している。

ABSTRACT

Quantum Neural Networks (QNNs) are a promising variational learning paradigm with applications to near-term quantum processors, however they still face some significant challenges. One such challenge is finding good parameter initialization heuristics that ensure rapid and consistent convergence to local minima of the parameterized quantum circuit landscape. In this work, we train classical neural networks to assist in the quantum learning process, also know as meta-learning, to rapidly find approximate optima in the parameter landscape for several classes of quantum variational algorithms. Specifically, we train classical recurrent neural networks to find approximately optimal parameters within a small number of queries of the cost function for the Quantum Approximate Optimization Algorithm (QAOA) for MaxCut, QAOA for Sherrington-Kirkpatrick Ising model, and for a Variational Quantum Eigensolver for the Hubbard model. By initializing other optimizers at parameter values suggested by the classical neural network, we demonstrate a significant improvement in the total number of optimization iterations required to reach a given accuracy. We further demonstrate that the optimization strategies learned by the neural network generalize well across a range of problem instance sizes. This opens up the possibility of training on small, classically simulatable problem instances, in order to initialize larger, classically intractably simulatable problem instances on quantum devices, thereby significantly reducing the number of required quantum-classical optimization iterations.

研究の動機と目的

• NISQデバイス上の量子-古典変分アルゴリズムのパラメータ初期化の改善を促す。
• QNNsのための効果的なパラメータ更新ヒューリスティックを学習する古典的ニューラルネットワーク（RNN）を開発する。
• 学習された最適化戦略が、小さで古典的にシミュレーション可能な事例からより大きく難しい事例へ一般化することを示す。
• RNNベースの初期化が、Nelder-Meadのような局所最適化手法と組み合わせた場合に総最適化反復回数を削減することを示す。

提案手法

• ハイブリッド量子古典ループを時系列グラフとしてモデル化し、QNNのパラメータ更新を提案するLSTMベースのオプティマイザを訓練する。
• 観察された改善に基づくメタ学習損失 L(phi) を定義する（式2）訓練を指導。
• 問題クラス上で専門家RNNオプティマイザを訓練する：MaxCutのQAOA、Sherrington-Kirkpatrick IsingモデルのQAOA、Hubbard VQEアンサツ。
• 訓練済みRNNを局所探索オプティマイザ（例：Nelder-Mead）の数ショットグローバル初期化子として用い、標的精度に到達する。
• 小さく古典的にシミュレート可能なQNNインスタンスでの訓練を可能にし、より大きなインスタンスで一般化を検証する。
• 展開された量子-古典グラフを通じたバックプロパゲーションでRNNオプティマイザを訓練する（時間に沿ったバックプロパゲーション）。

実験結果

リサーチクエスチョン

• RQ1 古典的なRNNオプティマイザは、量子ニューラルネットワーク（QNNs）のための効果的なパラメータ更新ヒューリスティックを学習できるか？
• RQ2 小さなQNNインスタンスで訓練された専門家RNNオプティマイザは、同じ問題クラス内のより大きな問題サイズへ一般化するか？
• RQ3 メタラーニングされた初期化は、局所最適化手法と組み合わせた場合に総最適化反復回数を減らすか？
• RQ4 古典的にシミュレート可能なQNNでRNNオプティマイザを訓練し、デバイス上のより大きな、潜在的に扱いづらい量子インスタンスに適用することは現実的か？
• RQ5 異なるQAOA問題クラスとVQEアンサツ間でメタ学習戦略はどのように転移するか？

主な発見

• RNNオプティマイザは、小さなQNNインスタンスで学習すると、同じ問題クラス内のより大きなシステムサイズへ一般化する。
• 学習されたRNNオプティマイザによる初期化は、局所最適化と組み合わせた場合に、与えられた精度へ到達するための総最適化反復回数を顕著に削減する。
• MaxCut QAOA、Ising SK QAOA、および Hubbard VQEのために訓練された専門的なRNNは、それぞれのクラスの未見の大きなインスタンスで性能を改善した。
• 古典的にシミュレート可能なQNNで訓練することで、 retraining せずにより大きく難しいQNNへ転移できる。
• このアプローチは、メタ学習を量子機械学習アルゴリズムの性能向上に適用した初めての例となる。
• RNNオプティマイザは局所最適化の完全な代替ではなく、Few-shotのグローバル初期化子として用い、実用的な利得を提供する。