[논문 리뷰] Theoretical Guarantees for Permutation-Equivariant Quantum Neural Networks

Louis Schatzki, Martín Larocca외 3명|arXiv (Cornell University)|2022. 10. 18.

Machine Learning in Materials Science참고 문헌 151인용 수 18

한 줄 요약

이 논문은 데이터의 대칭군 Sₙ 대칭성을 인코딩하는 순열 등변 양자 신경망(Sₙ-EQNNs)을 제안하며, 큐비트 순열에 대해 불변성을 보장한다. 이론적으로 Sₙ-EQNNs는 망가진 평탄한 골짜기(барren plateaus)를 피하고, 다항수 깊이 회로로 과다 매개변수화를 달성하며, 소수의 훈련 샘플로부터도 잘 일반화된다. 수치 시뮬레이션을 통해 그래프 상태 분류 작업에서 뛰어난 성능을 확인하였다.

ABSTRACT

Despite the great promise of quantum machine learning models, there are several challenges one must overcome before unlocking their full potential. For instance, models based on quantum neural networks (QNNs) can suffer from excessive local minima and barren plateaus in their training landscapes. Recently, the nascent field of geometric quantum machine learning (GQML) has emerged as a potential solution to some of those issues. The key insight of GQML is that one should design architectures, such as equivariant QNNs, encoding the symmetries of the problem at hand. Here, we focus on problems with permutation symmetry (i.e., the group of symmetry $S_n$), and show how to build $S_n$-equivariant QNNs. We provide an analytical study of their performance, proving that they do not suffer from barren plateaus, quickly reach overparametrization, and generalize well from small amounts of data. To verify our results, we perform numerical simulations for a graph state classification task. Our work provides the first theoretical guarantees for equivariant QNNs, thus indicating the extreme power and potential of GQML.

연구 동기 및 목표

• 일반적인 QNN에서 흔한 망가진 평탄한 골짜기와 국소 최솟값 문제를 해결하기 위해 아키텍처 설계에 대칭성을 통합한다.
• 입력 데이터의 순열 대칭성을 존중하는 Sₙ-등변 QNN를 체계적으로 구성하는 프레임워크를 개발한다.
• 실제 데이터 환경에서 Sₙ-EQNN의 일반화 및 최적화 성능에 대한 이론적 보장을 제공한다.
• 그래프 상태 분류 작업을 통해 이론적 주장의 타당성을 수치 시뮬레이션으로 검증한다.
• 데이터 인코딩 및 회로 구조에 따라 Sₙ-EQNN이 계속 훈련 가능하거나 불가능해지는 조건을 규명한다.

제안 방법

• 대칭군 Sₙ의 등급 분해를 사용하여 Sₙ-등변 QNN를 구축함으로써, 유니터리 레이어가 순열 연산에 대해 일관되게 변환되도록 보장한다.
• 표현 이론을 활용해 힐베르트 공간을 Sₙ의 기약 표현(irreps)으로 분해하고, QNN가 이러한 불변 부분공간 내에서만 작용하도록 제한한다.
• 유니터리 ɛ-커버링 넷 개념을 적용하여 매개변수 공간의 복잡도를 바ounds하고, 기약 표현의 총 차원(Teₙ₊₁)을 모델 용량의 척도로 사용한다.
• 커버링 수를 기반으로 한 사슬 추론(chainning argument)을 통해 일반화 오차 바ounds를 유도하며, 이는 커버링 수의 로그에 비례하며 Sₙ-EQNN에 특화된 형태로 적용된다.
• 그래프 상태 인코딩(3-정규, n/2-정규, 에르되시-레니 상태), 고정 허밍 무게 상태, 하르-랜덤 상태를 사용한 수치 실험을 설계하여 훈련 가능성과 성능을 테스트한다.
• 다양한 데이터 인코딩과 회로 깊이에서 일반화 및 최적화 행동을 비교하여 성공 및 실패 영역을 규명한다.

실험 결과

연구 질문

• RQ1 일반적인 QNN에서 흔한 망가진 평탄한 골짜기 문제를 Sₙ-등변 QNN가 피할 수 있는가?
• RQ2 Sₙ-EQNN가 과다 매개변수화를 달성하기 위해 필요한 회로 깊이는 얼마이며, 시스템 크기와 다항수로 증가하는가?
• RQ3 Sₙ-EQNN가 양호한 일반화 성능을 달성하기 위해 필요한 훈련 데이터 포인트의 수는 얼마인가?
• RQ4 어떤 인코딩 방식(예: 대칭적, 하르-랜덤, 그래프 상태)이 Sₙ-EQNN의 훈련 가능성을 높이는가, 또는 낮추는가?
• RQ5 일반화 및 훈련 가능성에 대한 이론적 보장이 실질적인 수치 시뮬레이션에서도 얼마나 잘 유지되는가?

주요 결과

• Sₙ-EQNNs는 시스템 크기와 함께 기울기 분산이 지수적으로 감소하지 않기 때문에 망가진 평탄한 골짜기에서 자유롭다는 것이 증명되었다.
• 기약 표현의 총 차원 Teₙ₊₁가 n에 대해 다항수로 증가하므로, Sₙ-EQNNs는 다항수 깊이 회로로 과다 매개변수화를 달성한다.
• 일반화 오차는 매개변수 공간의 ɛ-커버링 수의 로그에 비례하는 항으로 바ounds되며, 이는 (6/ε)²ᵀₑₙ₊₁로 스케일링된다.
• 그래프 상태 분류 작업에 대한 수치 시뮬레이션 결과, Sₙ-EQNNs는 소수의 훈련 샘플로도 잘 일반화되며, 일부 경우 이론적 바ounds를 초월하는 성능을 보였다.
• 이론적 분석을 통해 대칭 상태와 고정 허밍 무게로 인코딩된 상태는 훈련 가능하지만, 특정 무작위 또는 높은 얽힘 상태는 훈련 불능으로 이어질 수 있음을 규명하였다.
• 이소타입 분해를 통해 Sₙ-EQNNs의 커버링 수 바ounds를 유도하여, 기존 결과 [61]에서 도출할 수 없는 특화된 일반화 오차 바ounds를 도출하였다.