[論文レビュー] Reservoir Computing via Quantum Recurrent Neural Networks

Samuel Yen-Chi Chen, Daniel Fry+3 more|arXiv (Cornell University)|Nov 4, 2022

Neural Networks and Reservoir Computing被引用数 6

ひとこと要約

本稿では、ランダムに初期化された量子再帰的ニューラルネットワーク（QRNN、QGRU、QLSTM）を動的リザボアとして用いる、量子リザボアコンピューティングフレームワークを提案する。訓練は最終的な古典的線形層のみに限定される。数値シミュレーションの結果、完全に訓練されたQRNNモデルと同等の性能を達成する一方で、トレーニング時間と量子回路評価回数を顕著に削減しており、近位量子ハードウェア上で高速な収束性と向上したハードウェア効率を示している。

ABSTRACT

Recent developments in quantum computing and machine learning have propelled the interdisciplinary study of quantum machine learning. Sequential modeling is an important task with high scientific and commercial value. Existing VQC or QNN-based methods require significant computational resources to perform the gradient-based optimization of a larger number of quantum circuit parameters. The major drawback is that such quantum gradient calculation requires a large amount of circuit evaluation, posing challenges in current near-term quantum hardware and simulation software. In this work, we approach sequential modeling by applying a reservoir computing (RC) framework to quantum recurrent neural networks (QRNN-RC) that are based on classical RNN, LSTM and GRU. The main idea to this RC approach is that the QRNN with randomly initialized weights is treated as a dynamical system and only the final classical linear layer is trained. Our numerical simulations show that the QRNN-RC can reach results comparable to fully trained QRNN models for several function approximation and time series prediction tasks. Since the QRNN training complexity is significantly reduced, the proposed model trains notably faster. In this work we also compare to corresponding classical RNN-based RC implementations and show that the quantum version learns faster by requiring fewer training epochs in most cases. Our results demonstrate a new possibility to utilize quantum neural network for sequential modeling with greater quantum hardware efficiency, an important design consideration for noisy intermediate-scale quantum (NISQ) computers.

研究の動機と目的

• 順序付きモデリングタスクにおける変分量子回路の高い計算コストと遅いトレーニングを緩和すること。
• トレーニング中の量子回路評価回数を最小限に抑えることで、量子ハードウェアの効率を向上させること。
• 量子リザボアコンピューティング（QRNN-RC）が、古典的RNNベースのリザボアコンピューティングと同等またはそれを上回る学習速度と精度を達成できるかどうかを検証すること。
• ノイズのある量子シミュレーション下で、関数近似および時系列予測タスクにおけるQRNN-RCの性能を評価すること。
• 量子リザボアフレームワークにおいて、最終層の線形層のみをトレーニングすることで、リソース要件を低減しつつも、競争力のある性能を維持できることを示すこと。

提案手法

• 動的リザボアとして、ランダムに初期化されたQRNN、QGRU、QLSTMアーキテクチャを用いる。これらは固定された動的システムとして機能する。
• 量子回路パラメータは初期化後に固定され、トレーニングは最終的な古典的線形層のみに限定される。
• リザボアは量子ゲートを通じて順序付き入力を処理し、高次元の状態表現を生成する。
• 量子リザボアの出力を古典的線形層に供給し、平均二乗誤差（MSE）損失を用いて最適化を行う。
• ノイズのある量子シミュレーション下で、関数近似（NARMA5、NARMA10）および時系列予測タスクに対してフレームワークを評価する。
• トレーニング効率は収束速度および目標性能に到達するまでのエポック数で測定される。

実験結果

リサーチクエスチョン

• RQ1 未訓練の量子RNNを用いた量子リザボアコンピューティングフレームワークは、完全に訓練されたQRNNモデルと同等の性能を達成できるか？
• RQ2 QRNN-RCは、完全に最適化されたQRNNと比較して、より少ない量子回路評価回数とトレーニングエポック数で実現できるか？
• RQ3 収束速度と精度の観点から、QRNN-RCは古典的RNNベースのリザボアコンピューティングと比較してどうなるか？
• RQ4 RCアプローチは、ノイズの多い中規模量子（NISQ）環境において、ノイズへの感受性を低減し、安定性を向上させるか？
• RQ5 QRNN-RCは、順序付きタスクにおける学習速度と予測精度の面で、古典的対応手法を上回ることができるか？

主な発見

• QRNN-RCは、NARMA5およびNARMA10関数近似タスクにおいて、完全に訓練されたQRNNモデルと同等の予測性能を達成した。
• QRNN-RCは完全に最適化されたQRNNと比較して、顕著に少ないトレーニングエポック数で実現可能であり、QGRU-RCは15エポックでQGRUの性能に達した。
• NARMA5およびNARMA10の両タスクにおいて、QLSTM-RCは30エポックで完全に最適化されたQLSTMを上回った。これは、より速い収束を示している。
• ノイズのあるシミュレーション下でも、QRNN-RCは滑らかな予測曲線とノイズの少ない損失曲線を示し、NISQノイズに対して優れた耐性を示した。
• ほとんどの場合、QRNN-RCは古典的RNNベースのRCよりも少ないトレーニングエポック数で実現可能であり、より速い学習を示した。
• 量子パラメータの勾配計算を排除することで、量子リソース要件が低減し、NISQデバイスにおけるハードウェア効率が向上した。