[論文レビュー] A quantum algorithm for training wide and deep classical neural networks

Alexander Zlokapa, Hartmut Neven+1 more|arXiv (Cornell University)|Jul 19, 2021

Quantum Computing Algorithms and Architecture参考文献 4被引用数 12

ひとこと要約

本稿では、ニューラルトランジット・カーネル（NTK）形式を用い、量子線形方程式系（QLSA）を用いて行列の逆行列を解くことで、広く深い古典的ニューラルネットワークの学習時間を多項対数時間に抑える量子アルゴリズムを提案する。データが効率的な状態準備と読み出しを可能にする場合（MNISTで示されたように）、古典的勾配降下法と比較して指数的高速化を達成できることを示しており、畳み込み層を含むネットワークに対しても数値的証拠がその有効性を裏付けている。

ABSTRACT

Given the success of deep learning in classical machine learning, quantum algorithms for traditional neural network architectures may provide one of the most promising settings for quantum machine learning. Considering a fully-connected feedforward neural network, we show that conditions amenable to classical trainability via gradient descent coincide with those necessary for efficiently solving quantum linear systems. We propose a quantum algorithm to approximately train a wide and deep neural network up to $O(1/n)$ error for a training set of size $n$ by performing sparse matrix inversion in $O(\log n)$ time. To achieve an end-to-end exponential speedup over gradient descent, the data distribution must permit efficient state preparation and readout. We numerically demonstrate that the MNIST image dataset satisfies such conditions; moreover, the quantum algorithm matches the accuracy of the fully-connected network. Beyond the proven architecture, we provide empirical evidence for $O(\log n)$ training of a convolutional neural network with pooling.

研究の動機と目的

• 量子機械学習と古典的ディープラーニングを結びつけることにより、標準的なニューラルネットワークアーキテクチャにおける量子高速化を可能にすること。
• 量子アルゴリズムが、広く深いニューラルネットワークの学習において、古典的勾配降下法を上回る条件を同定すること。
• データ分布が効率的な状態準備と読み出しを可能にする場合に、量子学習が現実可能であることを示すこと。特にMNISTデータセットのような例で検証すること。
• NTKフレームワークを用いて、完全結合ネットワークから畳み込み層を含むネットワークへの理論的結果の拡張を図ること。
• 量子アルゴリズムが、多項式のべきより小さいスケーリングを達成しながらも、古典的学習と同等の精度を維持することを実証的根拠で示すこと。

提案手法

• 広く深いニューラルネットワークの学習を、ニューラルトランジット・カーネル（NTK）を用いて線形方程式系の解法として定式化し、出力は $ \mathbf{k}_*^T K^{-1} \mathbf{y} $ で与えられる。
• NTK行列 $ K $ の逆行列を $ O(\log n) $ 時間で解くために、量子線形方程式系アルゴリズム（QLSA）を適用する。この際、$ K $ がスパースかつ良好に条件付けられていると仮定する。
• スパース性パターン $ s = O(\log n) $ を用いて行列サイズを縮小しつつ、条件数を維持する。Gershgorinの円定理を用いて固有値の摂動を境界づける。
• NTK行列を、$ O((\log n)^{9/10}) $ の要因で非対角成分を抑制することで前処理し、スケールが増大しても条件数が有界であることを保証する。
• 小さな訓練データのサブセットから得られる固定スパース性パターンを用いて、重要なNTK要素を選択し、性能への影響を最小限に抑えつつ、計算複雑度を増加させない。
• 効率的な量子状態準備と測定プロトコルを統合し、事後選択および読み出しコストを $ O(\log n) $ に保つ。これにより、エンドツーエンドの多項対数時間実行が可能になる。

実験結果

リサーチクエスチョン

• RQ1 量子アルゴリズムは、広く深い古典的ニューラルネットワークの学習において、古典的勾配降下法を指数的に上回る高速化を達成できるか？
• RQ2 データ分布のどの条件下で、効率的な量子学習が可能になるのか。特に、状態準備と読み出しに関する条件は？
• RQ3 ニューラルトランジット・カーネル（NTK）形式は、完全結合ネットワークを超えて、畳み込み層を含むネットワークに対しても量子高速化を可能にするか？
• RQ4 NTK行列の条件数は、この文脈における量子線形方程式系の解法の実現可能性と効率性にどのように影響するか？
• RQ5 NTK行列のスパース化は、一般化性能を維持しつつ、MNISTのような実世界のデータセットで多項対数時間実行を可能にするか？

主な発見

• 効率的な状態準備と読み出しの仮定の下で、広く深い完全結合ニューラルネットワークの学習において、量子アルゴリズムは $ O(\log n) $ 時間で実行可能であり、サイズ $ n $ の訓練データセットに対して $ O(1/n) $ の誤差を達成する。
• 数値実験により、MNISTデータセットが効率的な状態準備と読み出しを可能にする条件を満たしていることが確認され、多項対数時間実行と古典的精度を達成できることが示された。
• 訓練データサイズが増大しても、NTK行列の条件数が $ O(\log n) $ に有界に保たれ、量子線形方程式系の効率的解法を支持する。
• 畳み込みニューラルネットワークにプーリング層を含む場合、NTKは深さが増大しても良好に条件付けられており、条件数は定数に近づく。これにより、同様の量子高速化が可能になる。
• 小さなデータサブセットに基づく固定スパース性パターンを用いたNTK行列のスパース化は、分類性能を維持しつつ、$ O\left(\log n\right) $ の条件数と実行時間を保つ。
• スパース化、非対角成分の抑制による前処理、および効率的な測定の組み合わせにより、量子実行時間全体が $ n $ に対して多項対数時間に保たれ、古典的勾配降下法に比べて指数的高速化が達成される。