[論文レビュー] Quantum-enhanced neural networks in the neural tangent kernel framework

Kouhei Nakaji, Hiroyuki Tezuka+1 more|arXiv (Cornell University)|Sep 8, 2021

Quantum Computing Algorithms and Architecture参考文献 74被引用数 5

ひとこと要約

本稿では、ニューラルトーラスカーネル（NTK）フレームワークを活用して理論的に解析可能な学習と量子強化性能を実現する、量子古典ハイブリッドニューラルネットワーク（qcNN）を提案する。ランダムに初期化された量子データエンコーダと広い古典ニューラルネットワークを組み合わせることで、グローバル収束を達成し、非線形量子カーネルとして機能する。量子データ生成プロセスを学習する際、古典的および純粋な量子ネットワークよりも優れた性能を示す。

ABSTRACT

Recently, quantum neural networks or quantum-classical neural networks (qcNN) have been actively studied, as a possible alternative to the conventional classical neural network (cNN), but their practical and theoretically-guaranteed performance is still to be investigated. In contrast, cNNs and especially deep cNNs, have acquired several solid theoretical basis; one of those basis is the neural tangent kernel (NTK) theory, which can successfully explain the mechanism of various desirable properties of cNNs, particularly the global convergence in the training process. In this paper, we study a class of qcNN composed of a quantum data-encoder followed by a cNN. The quantum part is randomly initialized according to unitary 2-designs, which is an effective feature extraction process for quantum states, and the classical part is also randomly initialized according to Gaussian distributions; then, in the NTK regime where the number of nodes of the cNN becomes infinitely large, the output of the entire qcNN becomes a nonlinear function of the so-called projected quantum kernel. That is, the NTK theory is used to construct an effective quantum kernel, which is in general nontrivial to design. Moreover, NTK defined for the qcNN is identical to the covariance matrix of a Gaussian process, which allows us to analytically study the learning process. These properties are investigated in thorough numerical experiments; particularly, we demonstrate that the qcNN shows a clear advantage over fully classical NNs and qNNs for the problem of learning the quantum data-generating process.

研究の動機と目的

• ニューラルトーラスカーネル（NTK）理論を用いて、量子古典ハイブリッドニューラルネットワーク（qcNN）の訓練を理論的に根拠づけるフレームワークを確立すること。
• 特にバーレンプレートの問題や収束不能の問題に起因する、量子ニューラルネットワークの訓練における理論的保証の欠如を解消すること。
• 古典的および純粋な量子モデルと比較して、qcNNが量子データ生成プロセスの学習において量子強化性能を達成できることを示すこと。
• NTK領域において、qcNNの出力が投影された量子カーネルの非線形関数として機能することを示し、学習ダイナミクスの解析的考察を可能にすること。

提案手法

• qcNNアーキテクチャは、ユニタリ2デザインを用いてランダムに初期化された量子データエンコーダに続き、ガウス確率的初期化を施された古典ニューラルネットワーク（cNN）から構成される。
• NTK領域（cNNの幅が無限大に近づく領域）において、システム全体のNTKは時間不変かつ正定値となり、線形化された訓練解析が可能になる。
• qcNNの出力が、投影された量子カーネルの非線形関数として表現されることを示し、明示的なカーネル設計なしに非自明な量子カーネルを構築している。
• qcNNのNTKは、ガウス過程の共分散行列と解析的に同等であり、学習ダイナミクスの正確な特徴付けを可能にする。
• 理想状態ベクトルシミュレーションとノイズあり、有限ショットの量子測定を用いた回帰および分類タスクにおいて、数値実験が実施された。
• モデルは確率的勾配降下法で訓練され、ショット数の変動に伴うショットノイズへの耐性を評価するために、さまざまな測定ショット数で性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 ニューラルトーラスカーネル（NTK）フレームワークを量子古典ハイブリッドニューラルネットワークに拡張することで、訓練ダイナミクスの理論的分析が可能になるか？
• RQ2 qcNNアーキテクチャは、量子データ生成プロセスの学習において、完全に古典的または純粋な量子ニューラルネットワークよりも優れた性能を達成するか？
• RQ3 現実的なノイズあり量子環境下で、qcNNの性能は測定ショット数にどのように依存するか？
• RQ4 どのようなデータおよびエンコーダ条件において、qcNNが古典的対象物に対して量子優位性を示すか？

主な発見

• NTK領域において、NTKが時間不変かつ正定値であるため、qcNNはグローバル収束を達成し、訓練ダイナミクスの解析が可能になる。
• qcNNの出力は、投影された量子カーネルの非線形関数として機能しており、明示的なカーネル設計なしに非自明な量子カーネルを有効に構築している。
• わずか100ショットの測定でも、理想状態ベクトルシミュレータと同等の性能を達成しており、分類タスクにおけるショットノイズへの耐性が示された。
• 回帰において、qcNNの最終コスト値は $9.58 \times 10^{-9}$ であり、古典的NNの $3.78 \times 10^{-2}$ や純粋な量子NNの $1.14 \times 10^{-1}$ より顕著に低い値であった。
• 分類において、qcNNの最終コストは0.251であり、古典的NN（0.364）および純粋な量子NN（0.503）を上回った。
• モデルは、特にデータエンコーダが適切に設計された場合、量子データ生成プロセスの学習において明確な量子優位性を示した。