[논문 리뷰] Toward Trainability of Quantum Neural Networks

Kaining Zhang, Min-Hsiu Hsieh외 2명|arXiv (Cornell University)|2020. 11. 12.

Quantum Computing Algorithms and Architecture참고 문헌 33인용 수 43

한 줄 요약

본 논문은 그래디언트 노름의 하한을 도출하여 트리 텐서(TT) 및 스텝 제어(SC) 양자 신경망의 학습 가능성 보장을 제시하고, 바이너리 분류 작업에서 무작위 QNN 대비 더 우수한 학습 및 정확성을 시연합니다. 단위 2-디자인 가정 없이 MNIST 파생 데이터에 대한 시뮬레이션으로 결과를 검증합니다.

ABSTRACT

Quantum Neural Networks (QNNs) have been recently proposed as generalizations of classical neural networks to achieve the quantum speed-up. Despite the potential to outperform classical models, serious bottlenecks exist for training QNNs; namely, QNNs with random structures have poor trainability due to the vanishing gradient with rate exponential to the input qubit number. The vanishing gradient could seriously influence the applications of large-size QNNs. In this work, we provide a viable solution with theoretical guarantees. Specifically, we prove that QNNs with tree tensor and step controlled architectures have gradients that vanish at most polynomially with the qubit number. We numerically demonstrate QNNs with tree tensor and step controlled structures for the application of binary classification. Simulations show faster convergent rates and better accuracy compared to QNNs with random structures.

연구 동기 및 목표

• 양자 신경망(QNN)의 바 barren plateaus 문제를 해결한다.
• provably 트레이너블한 TT-QNN 및 SC-QNN 아키텍처를 도입한다.
• 2-design 가정에 의존하지 않는 그래디언트 노름 하한을 제공한다.
• TT-QNN 및 SC-QNN가 무작위 QNN보다 학습 및 정확도에서 우수하다는 것을 시뮬레이션으로 보여준다.
• 근시 양자 장치에 적용 가능한 입력 인코딩 프레임워크와 이론적 보장을 제공한다.

제안 방법

• TT-QNN 및 SC-QNN 아키텍처 및 매개변수화 회로 정의.
• 그래디언트 노름의 하한 증명: E||∇θ fTT||^2 ≥ ~Ω(1/n) 및 E||∇θ fSC||^2 ≥ ~Ω(2−nc).
• 단일 큐비트 위상 부호화 게이트에 대한 그래디언트를 계산하기 위한 매개변수 이동 규칙을 사용한다.
• 입력 상태를 준비하는 인코딩 회로를 도입하고 Theorem 3.2(Eβα(ρin) ≥ 2−2L)를 통해 α(ρin)을 상한한다.
• 단위 2-디자인 가정에 의존하지 않고 결과를 도출한다.
• MNIST 파생 데이터에 대한 이진 분류 실험을 수행하여 TT-QNN, SC-QNN, Random-QNN을 비교한다.

실험 결과

연구 질문

• RQ1 TT-QNN과 SC-QNN가 바 barren plateaus를 회피하고 다항적으로 한정된 그래디언트 노름을 제공하는가?
• RQ2 TT-QNN 및 SC-QNN의 그래디언트 노름 하한은 무엇이며 n 및 nc에 어떻게 의존하는가?
• RQ3 입력 상태 인코딩이 학습 가능성과 그래디언트 동작에 어떤 영향을 미치는가?
• RQ4 TT-QNN 및 SC-QNN 아키텍처가 이진 분류에서 무작위 구조 QNN보다 더 나은 학습 동역학과 정확도를 제공하는가?

주요 결과

• TT-QNN 그래디언트 노름의 하한은 ~Ω(1/n)이다.
• SC-QNN 그래디언트 노름의 하한은 ~Ω(2−nc)이다.
• 이 하한은 유닛특성 2-디자인 가정 없이도 성립하며 선형 깊이 회로에 적용된다.
• 인코딩 회로 분석은 Eβα(ρin) ≥ 2−2L을 보여주며 입력 상태 변화에 대한 그래디언트 추정치를 안정화한다.
• MNIST 기반 이진 분류 실험에서 TT-QNN 및 SC-QNN이 여러 큐비트 수(n=8,10,12)에서 학습 손실 및 테스트 정확도에서 Random-QNN을 능가한다.
• 시뮬레이션에서 관찰된 그래디언트 노름은 이론적 상한과 일치한다.