[論文レビュー] Quantum neural networks form Gaussian processes

Diego García-Martín, Martín Larocca+1 more|arXiv (Cornell University)|May 17, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

この論文は、ヒルバート空間次元 $d$ が大きい極限において、ハール一様乱数ユニタリまたは直交ゲートを用いた深層量子ニューラルネットワーク（QNN）が、ガウス過程（GPs）に収束することを証明している。これは、古典的ニューラルネットワークとガウス過程の対応関係を量子領域へと拡張したものである。古典的ネットワークとは異なり、強い測度集中のため、得られるガウス過程はベイズ予測に非効率的であり、期待値と勾配は $\mathcal{O}(1/(e^d\sqrt{d}))$ に集中する。また、結果は $t$-デザインに対しても一般化される。

ABSTRACT

It is well known that artificial neural networks initialized from independent and identically distributed priors converge to Gaussian processes in the limit of a large number of neurons per hidden layer. In this work we prove an analogous result for Quantum Neural Networks (QNNs). Namely, we show that the outputs of certain models based on Haar random unitary or orthogonal deep QNNs converge to Gaussian processes in the limit of large Hilbert space dimension $d$. The derivation of this result is more nuanced than in the classical case due to the role played by the input states, the measurement observable, and the fact that the entries of unitary matrices are not independent. Then, we show that the efficiency of predicting measurements at the output of a QNN using Gaussian process regression depends on the observable's bodyness. Furthermore, our theorems imply that the concentration of measure phenomenon in Haar random QNNs is worse than previously thought, as we prove that expectation values and gradients concentrate as $\mathcal{O}\left(\frac{1}{e^d \sqrt{d}} ight)$. Finally, we discuss how our results improve our understanding of concentration in $t$-designs.

研究の動機と目的

• 古典的ニューラルネットワークとガウス過程の対応関係の厳密な量子アナログを確立すること。
• ハール一様ユニタリまたは直交回路を用いたQNNの出力が、ガウス過程に収束する条件を分析すること。
• この収束が、QNNにおけるベイズ推論と予測効率性に与える影響を調査すること。
• 特に期待値と勾配の観点から、ランダム量子回路における測度集中を特徴付けること。
• 完全なハールランダム性よりも物理的に現実的である $t$-デザインへと結果を拡張すること。

提案手法

• 出力分布のすべてのモーメントがガウス過程のモーメントに収束することを示し、深層QNNの出力分布が多変量正規分布に収束することを証明する。
• ユニタリ不変性とハール分布行列の直交制約を活用したモーメント法を用いる。
• パラメータシフト則を適用して勾配を計算し、尾確率の境界を用いてその集中を分析する。
• 和集合の不等式と補足誤差関数の推定値を用いて、期待値と勾配の集中境界を導出する。
• $t$-デザインがハール測度の最初の $t$ 階モーメントを一致させることを活用し、より少ないランダム性で実用的であるQNNに結果を拡張する。
• $t$-次のモーメントに基づく一般化されたチエビシェフ不等式を用いて、出力と勾配の尾確率の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ハール一様乱数ユニタリまたは直交ゲートを用いた深層QNNは、ヒルバート空間次元が大きい極限においてガウス過程に収束するか？
• RQ2 得られるガウス過程は、QNNにおけるベイズ推論に効率的に利用可能か？
• RQ3 QNNの出力と勾配は、$d$ が大きい極限でどの程度速く集中するか？ また、これまでは知られていた境界と比較するとどうなるか？
• RQ4 $t$-デザインは、完全なハールランダム回路のガウス過程への収束性と集中特性をどの程度継承するか？
• RQ5 入力状態の重なりと測定観測量の役割は、ガウス過程の極限への出現にどのように寄与するか？

主な発見

• ハール一様乱数ユニタリまたは直交ゲートを用いた深層QNNは、ヒルバート空間次元 $d$ が大きい極限において、出力分布のすべてのモーメントが多変量正規分布のモーメントに収束するため、ガウス過程に収束する。
• 測度集中が従来の予想を上回るほど強く、期待値と勾配が $\mathcal{O}(1/(e^d\sqrt{d}))$ に集中するため、得られるガウス過程はベイズ予測に非効率的である。
• 期待値と勾配の集中速度は、以前の推定値を上回っており、ランダム量子回路における関数空間の崩壊がより顕著であることを示している。
• $t$-デザインでは、ハールランダム回路と同様の条件下で、QNN出力の最初の $t$ 階モーメントがガウス過程のそれと一致するため、実用的QNNアーキテクチャへの拡張が可能になる。
• 出力または勾配が大きい場合の尾確率は、一般化されたチエビシェフ境界から得られる $\mathcal{O}\left(\frac{(2\lfloor t/2\rfloor)!}{2^{\lfloor t/2\rfloor} d^{\lfloor t/2\rfloor} (\lfloor t/2\rfloor)!}\right)$ のように減少する。
• 平均入力状態重なり $\mathbb{E}_{\rho_i,\rho_{i'}}[\Tr[\rho_i\rho_{i'}]]$ が $\Omega(1/\operatorname{poly}(\log d))$ または正確に $1/d$ である場合、収束結果は平均的に成り立つ。