[論文レビュー] Recurrent Quantum Neural Networks

Johannes Bausch|arXiv (Cornell University)|Jun 25, 2020

Quantum Computing Algorithms and Architecture参考文献 36被引用数 22

ひとこと要約

本稿では、ユニタリな時間発展演算と振幅増幅を用いたパラメータ化された量子回路を備えた再帰的量子ニューラルネットワーク（QRNN）を提案する。これにより非線形活性化と安定した勾配勾配が可能となり、画像を画素単位で処理することでMNISTの手書き数字分類で99.6％のテスト精度を達成した。これは、限られたキュービット数でも量子再帰モデルが古典的RNNを上回ることを示している。

ABSTRACT

Recurrent neural networks are the foundation of many sequence-to-sequence models in machine learning, such as machine translation and speech synthesis. In contrast, applied quantum computing is in its infancy. Nevertheless there already exist quantum machine learning models such as variational quantum eigensolvers which have been used successfully e.g. in the context of energy minimization tasks. In this work we construct a quantum recurrent neural network (QRNN) with demonstrable performance on non-trivial tasks such as sequence learning and integer digit classification. The QRNN cell is built from parametrized quantum neurons, which, in conjunction with amplitude amplification, create a nonlinear activation of polynomials of its inputs and cell state, and allow the extraction of a probability distribution over predicted classes at each step. To study the model's performance, we provide an implementation in pytorch, which allows the relatively efficient optimization of parametrized quantum circuits with thousands of parameters. We establish a QRNN training setup by benchmarking optimization hyperparameters, and analyse suitable network topologies for simple memorisation and sequence prediction tasks from Elman's seminal paper (1990) on temporal structure learning. We then proceed to evaluate the QRNN on MNIST classification, both by feeding the QRNN each image pixel-by-pixel; and by utilising modern data augmentation as preprocessing step. Finally, we analyse to what extent the unitary nature of the network counteracts the vanishing gradient problem that plagues many existing quantum classifiers and classical RNNs.

研究の動機と目的

• ユニタリな時間発展演算により勾配消失問題を回避する量子再帰ニューラルネットワーク（QRNN）の設計。
• PyTorchを用いて、古典的ハードウェア上で数千パラメータを持つパラメータ化された量子回路を効果的に学習可能とする。
• QRNNを実世界のシーケンス学習および画像分類タスク（MNISTを含む）で評価する。
• ユニタリダイナミクスが長時間シーケンスモデリングにおける勾配減衰を是正するかを分析する。
• エルマンのシーケンスタスクを用いて、QRNNのハイパーパrameterおよびネットワークトポロジーのベンチマークを確立する。

提案手法

• 入力、作業、出力段階にわたり構造化されたユニタリな時間発展演算を用いたパラメータ化された量子ニューロンによるQRNNセルを構築する。
• 測定を介して非線形性を導入しつつも、ほぼユニタリな時間発展演算を維持するため、固定小数点振幅増幅を採用する。
• 量子回路を介した逆誤差伝搬（BPTP）を用いて、PyTorchによる大規模なパラメータ化された量子回路の最適化を実施する。
• エルマン（1990年）のシーケンス記憶および予測タスク、および画素単位の入力処理によるMNIST手書き数字分類にQRNNを適用する。
• 最新のデータ拡張技術を活用して、MNISTの一般化性能を向上させる。
• パラメータ数と最適化手法を同一にした条件下で、QRNNの性能を古典的RNNおよびLSTMと比較する。

実験結果

リサーチクエスチョン

• RQ1 ユニタリな量子再帰ネットワークは、長時間シーケンス学習における勾配消失問題を効果的に緩和できるか？
• RQ2 限られたキュービット数（8〜14）を持つQRNNが、MNIST分類のような実世界のタスクで競争力のある性能を達成できるか？
• RQ3 異なるQRNNトポロジーおよびハイパーパrameterは、シーケンスタスクにおける収束性および精度にどのように影響するか？
• RQ4 振幅増幅の使用は、量子再帰アーキテクチャにおける有効な非線形活性化を可能にするか？
• RQ5 標準的なディープラーニングフレームワーク（例：PyTorch）を用いて、古典的ハードウェア上でQRNNを効率的に学習できるか？

主な発見

• QRNNは、画像を画素単位で処理することで、パラメータ数を同等にした古典的RNNおよびLSTMを上回る99.6％のテスト精度をMNIST手書き数字分類で達成した。
• データ拡張を適用したQRNNは、すべてのMNIST数字で約99.2％のテスト精度に達し、優れた一般化性能を示した。
• 1000長さのシーケンスでは、QRNNは約100ステップの学習で収束し、安定した性能を維持したが、LSTMは学習ステップ数が増加し、最終的な性能も悪化した。
• RNNは100トークンを超えるシーケンスでは10万ステップ以内に収束できず、学習安定性が著しく低いことが示された。
• QRNNセルのユニタリ性が勾配ノルムを維持するのを助け、長時間シーケンスにおける勾配減衰を是正する可能性のあるメカニズムであると示唆された。
• 本モデルは、バリエーション量子アルゴリズムが古典的ハードウェア上で実用的な分類タスクのために効率的に学習および評価可能であることを示している。