[논문 리뷰] Quantum-enhanced neural networks in the neural tangent kernel framework

Kouhei Nakaji, Hiroyuki Tezuka외 1명|arXiv (Cornell University)|2021. 09. 08.

Quantum Computing Algorithms and Architecture참고 문헌 74인용 수 5

한 줄 요약

이 논문은 신경미분기하학 커널(Neural Tangent Kernel, NTK) 프레임워크를 활용하여 이론적으로 분석 가능한 학습과 양자 향상 성능를 가능하게 하는 양자-고전 하이브리드 신경망(qcNN)을 제안한다. 무작위로 초기화된 양자 데이터 인코더와 넓은 고전 신경망을 조합함으로써, 모델은 전역 수렴을 달성하고 비선형 양자 커널으로 기능하며, 양자 데이터 생성 과정을 학습하는 데 있어 고전 모델과 순수 양자 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Recently, quantum neural networks or quantum-classical neural networks (qcNN) have been actively studied, as a possible alternative to the conventional classical neural network (cNN), but their practical and theoretically-guaranteed performance is still to be investigated. In contrast, cNNs and especially deep cNNs, have acquired several solid theoretical basis; one of those basis is the neural tangent kernel (NTK) theory, which can successfully explain the mechanism of various desirable properties of cNNs, particularly the global convergence in the training process. In this paper, we study a class of qcNN composed of a quantum data-encoder followed by a cNN. The quantum part is randomly initialized according to unitary 2-designs, which is an effective feature extraction process for quantum states, and the classical part is also randomly initialized according to Gaussian distributions; then, in the NTK regime where the number of nodes of the cNN becomes infinitely large, the output of the entire qcNN becomes a nonlinear function of the so-called projected quantum kernel. That is, the NTK theory is used to construct an effective quantum kernel, which is in general nontrivial to design. Moreover, NTK defined for the qcNN is identical to the covariance matrix of a Gaussian process, which allows us to analytically study the learning process. These properties are investigated in thorough numerical experiments; particularly, we demonstrate that the qcNN shows a clear advantage over fully classical NNs and qNNs for the problem of learning the quantum data-generating process.

연구 동기 및 목표

• 신경미분기하학 커널(NTK) 이론을 활용하여 양자-고전 하이브리드 신경망(qcNN)의 학습을 이론적으로 기반을 둔 프레임워크를 수립하기 위해.
• 특히 공백 평탄성 문제와 수렴 불가 문제 등 양자 신경망 학습에 이론적 보장이 부족한 점을 해결하기 위해.
• qcNN가 고전 모델과 순수 양자 모델에 비해 양자 데이터 생성 과정을 학습하는 데에서 양자 향상 성능를 달성할 수 있음을 입증하기 위해.
• NTK 영역에서 qcNN의 출력이 투영된 양자 커널의 비선형 함수가 되며, 학습 동역학의 분석적 연구를 가능하게 하기 위해.

제안 방법

• qcNN 아키텍처는 유니터리 2-디자인을 통해 무작위로 초기화된 양자 데이터 인코더와 가우시안 무작위 초기화를 갖는 고전 신경망(cNN)으로 구성된다.
• NTK 영역—cNN의 너비가 무한히 증가하는 조건—에서 전체 시스템의 NTK는 시간에 따라 변하지 않으며 정부호가 되어 선형화된 학습 분석이 가능해진다.
• qcNN의 출력이 투영된 양자 커널의 비선형 함수임을 입증하였으며, 명시적인 커널 설계 없이도 비트란 양자 커널을 효과적으로 구성한다.
• qcNN의 NTK는 가우시안 프로세스의 공분산 행렬과 해석적으로 동일하므로, 학습 동역학의 정확한 특성화가 가능하다.
• 이deal 상태벡터 시뮬레이션과 노이즈가 있는 유한 샘플 수의 양자 측정을 모두 사용하여 회귀 및 분류 과제에서 수치 실험을 수행하였다.
• 모델은 확률적 경사하강법으로 학습되었으며, 샘플 수의 변화에 따라 성능을 평가하여 샘플 노이즈에 대한 내구성을 분석하였다.

실험 결과

연구 질문

• RQ1 신경미분기하학 커널(NTK) 프레임워크를 양자-고전 하이브리드 신경망으로 확장하여 학습 동역학의 이론적 분석이 가능한가?
• RQ2 qcNN 아키텍처가 고전 모델이나 순수 양자 신경망보다 양자 데이터 생성 과정을 학습하는 데에서 더 뛰어난 성능을 보이는가?
• RQ3 실제 노이즈가 있는 양자 환경에서 qcNN의 성능은 측정 샘플 수에 따라 어떻게 달라지는가?
• RQ4 데이터 및 인코더 조건이 어떤 경우에 qcNN이 고전 모델에 비해 양자 우월성을 보이는가?

주요 결과

• NTK 영역에서 qcNN의 NTK가 시간에 따라 변하지 않고 정부호이므로 전역 수렴을 달성하여 학습 동역학의 분석적 연구가 가능하다.
• qcNN의 출력은 투영된 양자 커널의 비선형 함수이며, 명시적인 커널 설계 없이도 비트란 양자 커널을 효과적으로 생성한다.
• 단지 100개의 측정 샘플만으로도 qcNN가 이상적 상태벡터 시뮬레이터와 유사한 성능을 달성하여 분류 과제에서 샘플 노이즈에 강건함을 보였다.
• 회귀 과제에서 qcNN의 최종 비용 값은 $9.58 \times 10^{-9}$였으며, 고전 신경망($3.78 \times 10^{-2}$)과 순수 양자 신경망($1.14 \times 10^{-1}$)보다 현저히 낮았다.
• 분류 과제에서 qcNN의 최종 비용은 0.251이었으며, 고전 신경망(0.364)과 순수 양자 신경망(0.503)을 모두 능가했다.
• 특히 데이터 인코더를 철저히 설계한 경우, qcNN은 양자 데이터 생성 과정 학습에서 명확한 양자 우월성을 보였다.