[논문 리뷰] Symmetric Pruning in Quantum Neural Networks

Xinbiao Wang, Junyu Liu외 4명|arXiv (Cornell University)|2022. 08. 30.

Quantum Computing Algorithms and Architecture인용 수 12

한 줄 요약

이 논문은 양자 신경망(QNN)에서 대칭적인 안사츠가 비대칭적인 것보다 더 빠른 수렴과 뛰어난 학습 가능성(Trainability)을 보이는 이유를 이론적으로 설명하기 위해 효과적 양자 신경장 탄성 커널(EQNTK)을 도입한다. 저자들은 낮은 효과적 차원과 높은 EQNTK 값이 효율적인 과다매개변수화를 이끌어내는 것으로 연결됨을 제안하며, 대칭성 지식이 없더라도 과다매개변수화된 비대칭 회로에서 자동으로 대칭적이고 하드웨어 효율적인 안사츠를 도출할 수 있는 대칭 프루닝(SP)을 제안한다. 이는 NISQ 장치에서 더 빠르고 효율적인 학습을 위해 회로 깊이와 측정 샷 수를 크게 줄이는 데 성공한다.

ABSTRACT

Many fundamental properties of a quantum system are captured by its Hamiltonian and ground state. Despite the significance of ground states preparation (GSP), this task is classically intractable for large-scale Hamiltonians. Quantum neural networks (QNNs), which exert the power of modern quantum machines, have emerged as a leading protocol to conquer this issue. As such, how to enhance the performance of QNNs becomes a crucial topic in GSP. Empirical evidence showed that QNNs with handcraft symmetric ansatzes generally experience better trainability than those with asymmetric ansatzes, while theoretical explanations have not been explored. To fill this knowledge gap, here we propose the effective quantum neural tangent kernel (EQNTK) and connect this concept with over-parameterization theory to quantify the convergence of QNNs towards the global optima. We uncover that the advance of symmetric ansatzes attributes to their large EQNTK value with low effective dimension, which requests few parameters and quantum circuit depth to reach the over-parameterization regime permitting a benign loss landscape and fast convergence. Guided by EQNTK, we further devise a symmetric pruning (SP) scheme to automatically tailor a symmetric ansatz from an over-parameterized and asymmetric one to greatly improve the performance of QNNs when the explicit symmetry information of Hamiltonian is unavailable. Extensive numerical simulations are conducted to validate the analytical results of EQNTK and the effectiveness of SP.

연구 동기 및 목표

• QNN에서 대칭 안사츠가 비대칭 안사츠보다 뛰어난 학습 가능성과 더 빠른 수렴을 보이는 이유를 이해하는 것.
• 대칭성, 효과적 차원, 수렴 행동 간의 이론적 프레임워크를 수립하는 것.
• 대칭성 정보가 없을 경우 과다매개변수화된 비대칭 회로에서 자동으로 대칭적이고 효율적인 안사츠를 생성하는 방법을 개발하는 것.
• 회로 깊이 및 측정 횟수와 같은 양자 자원 요구량을 줄여 QNN의 하드웨어 효율성을 향상시키는 것.
• 기본 상태 준비 작업을 대상으로 한 광범위한 수치 시뮬레이션을 통해 이론적 통찰을 검증하는 것.

제안 방법

• 학습 역학을 측정하는 도구로 효과적 양자 신경장 탄성 커널(EQNTK)을 제안하여, 안사츠의 대칭성이 수렴에 어떻게 영향을 주는지 기록한다.
• 효과적 차원을 QNN의 과다매개변수화 임계점 결정에 핵심 요소로 정의하며, 낮은 값이 더 빠른 수렴을 가능하게 한다.
• 시스템, 구조, 공간 대칭성을 적용하여 비대칭 안사츠에서 대칭적 구조를 추출하는 체계적 절차인 대칭 프루닝(SP)을 도입한다.
• EQNTK를 활용해 고(kernel) 값과 낮은 효과적 차원을 유지하는 파라미터 부분공간을 식별함으로써 프루닝을 안내한다.
• SP를 단계별로 적용한다: SP0(초기 과다매개변수화된 안사츠), SP1(시스템 대칭성), SP2(회로 구조 대칭성), SP3(공간 대칭성)로 점진적으로 파라미터와 깊이를 감소시킨다.
• 두 가지 지표를 통해 하드웨어 효율성을 평가한다: ε-수렴(ε=10−5)에 도달하기 위해 필요한 최적화 단계당 측정 횟수와 회로 깊이.

실험 결과

연구 질문

• RQ1 비대칭 안사츠보다 대칭 안사츠가 더 빠른 수렴과 뛰어난 학습 가능성을 보이는 이유는 무엇이며, 이에 대한 엄밀한 이론적 설명이 부족한 이유는 무엇인가?
• RQ2 효과적 차원과 EQNTK는 QNN에서 과다매개변수화 임계점과 수렴 행동을 정량화하는 데 사용될 수 있는가?
• RQ3 대칭 프루닝(SP)은 수렴 속도를 희생시키지 않고 어느 정도까지 양자 자원 요구량을 줄일 수 있는가?
• RQ4 대칭성 정보가 명시적으로 제공되지 않을 경우 QNN에서 효율적인 안사츠 설계에 어떤 영향을 미치는가?
• RQ5 EQNTK는 실질적인 상황에서 대칭 QNN의 학습 역학을 정확하게 예측할 수 있는가?

주요 결과

• 낮은 효과적 차원과 높은 EQNTK 값 덕분에 대칭 안사츠는 과다매개변수화 영역에 도달하기 위해 훨씬 적은 파라미터와 낮은 회로 깊이로도 빠른 수렴을 달성한다.
• 대칭 프루닝(SP) 기법은 횡방향 자기장 이징 모델(TFIM)에서 최적화 단계당 측정 횟수를 최대 14배, 에르도스-레니의 MaxCut 문제에서는 10배 감소시켰다.
• TFIM에서는 회로 깊이가 3배 감소했고, 에르도스-레니 및 3-정규 그래프에서의 MaxCut 작업에서는 각각 1.8배에서 2배 감소했으며, 일부 경우에서 깊이가 약간 증가하더라도 SP3가 SP1보다 더 높은 효율성을 보였다.
• 수치 결과는 잔여 학습 오차가 지수적으로 감소하는 것으로 확인되었으며, 이는 정리 2의 이론적 예측과 일치하여 EQNTK가 실제 학습 역학을 잘 포착할 수 있음을 검증한다.
• SP3 처리된 안사츠는 초기 비대칭 안사츠보다 더 낮은 양자 자원 소비로 ε-수렴(ε=10−5)을 달성하여 NISQ 장치에서 향상된 하드웨어 효율성을 입증한다.
• 대칭성 정보가 명시적으로 알려져 있지 않더라도 SP를 통해 자동으로 대칭적 구조를 추출함으로써 효과적인 QNN 성능을 달성할 수 있음을 보여준다.