[논문 리뷰] Quantum neural networks form Gaussian processes

Diego García-Martín, Martín Larocca외 1명|arXiv (Cornell University)|2023. 05. 17.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 힐베르트 공간 차원 $d$ 가 매우 클 때, 하어-무작변 유니터리 또는 옥시탈 게이트를 갖는 깊은 양자 신경망(QNNs)이 다변수 정규분포(Gaussian process, GP)로 수렴함을 증명한다. 이는 고전적 신경망과 GP 간의 상응관계를 양자 영역으로 확장한 것이다. 고전적 네트워크와 달리, 이로 인해 생기는 GP는 측도 집중 현상으로 인해 베이지안 예측에 비효율적이며, 기대값과 기울기의 집중 정도가 $\mathcal{O}(1/(e^d\sqrt{d}))$ 수준에 이르며, 결과는 $t$-디자인으로 일반화된다.

ABSTRACT

It is well known that artificial neural networks initialized from independent and identically distributed priors converge to Gaussian processes in the limit of a large number of neurons per hidden layer. In this work we prove an analogous result for Quantum Neural Networks (QNNs). Namely, we show that the outputs of certain models based on Haar random unitary or orthogonal deep QNNs converge to Gaussian processes in the limit of large Hilbert space dimension $d$. The derivation of this result is more nuanced than in the classical case due to the role played by the input states, the measurement observable, and the fact that the entries of unitary matrices are not independent. Then, we show that the efficiency of predicting measurements at the output of a QNN using Gaussian process regression depends on the observable's bodyness. Furthermore, our theorems imply that the concentration of measure phenomenon in Haar random QNNs is worse than previously thought, as we prove that expectation values and gradients concentrate as $\mathcal{O}\left(\frac{1}{e^d \sqrt{d}} ight)$. Finally, we discuss how our results improve our understanding of concentration in $t$-designs.

연구 동기 및 목표

• 고전적 신경망-GP 상응관계의 엄밀한 양자 버전을 확립하기 위해.
• 하어-무작변 유니터리 또는 옥시탈 회로를 갖는 QNN 출력의 GP 수렴을 분석하기 위해.
• 이 수렴이 QNN에서의 베이지안 추론 및 예측 효율성에 미치는 영향을 조사하기 위해.
• 무작위 양자 회로에서의 측도 집중, 특히 기대값과 기울기의 집중을 특성화하기 위해.
• 더 물리적으로 현실적인 전형인 $t$-디자인으로 결과를 확장하기 위해.

제안 방법

• 모든 순간이 GP의 순간으로 수렴함을 보여, 깊은 QNN의 출력 분포가 다변수 정규분포로 수렴함을 증명한다.
• 하어-분포된 행렬의 유니터리 불변성과 직교 제약 조건을 활용한 순간 방법을 사용한다.
• 기울기를 계산하고 尾 꼬리 확률에 대한 경계를 통해 기울기의 집중을 분석하기 위해 파라미터 시프트 규칙을 적용한다.
• 합집합 경계와 보완 오차 함수 추정치를 사용하여 기대값과 기울기의 집중 경계를 유도한다.
• $t$-디자인이 하어 측도의 첫 $t$개 순간을 일치시기 때문에, 더 덜 랜덤하고 더 실용적인 QNN로 결과를 확장할 수 있다.
• $t$-번째 순간 기반의 일반화된 체비셰프 부등식을 사용하여 출력 및 기울기의 꼬리 확률에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 깊은 QNN가 하어-무작변 유니터리 또는 옥시탈 게이트를 갖는 경우, 힐베르트 공간 차원이 매우 클 때 정규분포로 수렴하는가?
• RQ2 수렴한 정규분포는 QNN에서 베이지안 추론에 효율적으로 사용될 수 있는가?
• RQ3 QNN 출력과 기울기가 큰 $d$ 근처에서 얼마나 빠르게 집중되는가? 이는 이전의 경계와 비교해 어떻게 다른가?
• RQ4 $t$-디자인이 하어 무작변 회로의 GP 수렴 및 집중 성질을 어느 정도 유추하는가?
• RQ5 입력 상태 겹침과 측정 관측량이 GP 근처로의 수렴에 어떤 역할을 하는가?

주요 결과

• 하어-무작변 유니터리 또는 옥시탈 게이트를 갖는 깊은 QNN는 힐베르트 공간 차원 $d$ 가 매우 클 때, 출력 분포의 모든 순간이 다변수 정규분포의 순간으로 수렴함으로써 정규분포로 수렴한다.
• 이로 인한 GP는 측도 집중 현상이 이전에 알려진 것보다 더 강력하여 베이지안 예측에 비효율적이다. 기대값과 기울기 모두 $\mathcal{O}(1/(e^d\sqrt{d}))$ 수준으로 집중된다.
• 기대값과 기울기의 집중 속도는 이전 추정치보다 더 빠르며, 이는 랜덤 양자 회로에서 함수 공간의 더 심각한 붕괴를 시사한다.
• $t$-디자인의 경우, QNN 출력의 첫 $t$개 순간이 하어 무작변 회로와 동일한 조건에서 GP의 순간과 일치하므로, 실용적인 QNN 아키텍처로의 확장이 가능하다.
• 큰 출력 또는 기울기의 꼬리 확률은 $\mathcal{O}\left(\frac{(2\lfloor t/2\rfloor)!}{2^{\lfloor t/2\rfloor} d^{\lfloor t/2\rfloor} (\lfloor t/2\rfloor)!}\right)$ 로 감소하며, 이는 일반화된 체비셰프 경계에서 도출된다.
• 평균 입력 상태 겹침 $\mathbb{E}_{\rho_i,\rho_{i'}}[\Tr[\rho_i\rho_{i'}]]$ 가 $\Omega(1/\operatorname{poly}(\log d))$ 또는 정확히 $1/d$ 인 경우, 수렴 결과는 평균적으로 성립한다.