[논문 리뷰] Theory of overparametrization in quantum neural networks

Martín Larocca, Nathan Ju외 3명|arXiv (Cornell University)|2021. 09. 23.

Quantum Computing Algorithms and Architecture인용 수 28

한 줄 요약

이 논문은 파라미터의 수가 다이내믹 Lie 대수와 관련된 임계 임계치를 넘으면 QNN이 과매개변화(overparametrized)하게 됨을 보이는 이론적 프레임워크를 제시한다. 이는 손실 지형을 더 완만하고 학습 가능하게 만들고, 양자 피셔 정보 용량이 포화되는 결과를 가져온다.

ABSTRACT

The prospect of achieving quantum advantage with Quantum Neural Networks (QNNs) is exciting. Understanding how QNN properties (e.g., the number of parameters $M$) affect the loss landscape is crucial to the design of scalable QNN architectures. Here, we rigorously analyze the overparametrization phenomenon in QNNs with periodic structure. We define overparametrization as the regime where the QNN has more than a critical number of parameters $M_c$ that allows it to explore all relevant directions in state space. Our main results show that the dimension of the Lie algebra obtained from the generators of the QNN is an upper bound for $M_c$, and for the maximal rank that the quantum Fisher information and Hessian matrices can reach. Underparametrized QNNs have spurious local minima in the loss landscape that start disappearing when $M\geq M_c$. Thus, the overparametrization onset corresponds to a computational phase transition where the QNN trainability is greatly improved by a more favorable landscape. We then connect the notion of overparametrization to the QNN capacity, so that when a QNN is overparametrized, its capacity achieves its maximum possible value. We run numerical simulations for eigensolver, compilation, and autoencoding applications to showcase the overparametrization computational phase transition. We note that our results also apply to variational quantum algorithms and quantum optimal control.

연구 동기 및 목표

• 양자 신경망(QNN)에서 과매개변화와 이것이 학습 가능성 및 일반화에 미치는 영향을 연구의 동기로 삼는다.
• 양자 피셔 정보와 다이내믹 Lie 대수를 사용하여 QNN에서 과매개변화를 정의하고 형식화한다.
• 임계 파라미터 수 Mc를 다이내믹 Lie 대수(DLA) 차원과 연결하여 이론적 한계를 확립하고 QNN 용량에 대한 시사점을 연구한다.
• 여러 작업에서의 컴퓨팅상 전이(phase transition)를 보여주기 위해 수치 시뮬레이션을 수행한다.
• 과매개변화를 변분형 양자 알고리즘 및 양자 최적 제어와 같은 더 넓은 맥락과 연결한다.

제안 방법

• 생성기 G와 Hessian 기반 손실 분석을 갖는 L-층 주기적 매개회로로 QNN을 모델링한다.
• G에 의해 생성된 동적 Lie 대수 g를 사용하여 도달 가능한 상태 공간과 QFIM 계수를 상한한다.
• 학습 상태들에 걸친 QFIM 계수의 포화를 통해 과매개변화를 정의한다(정의 3).
• 정리 1: Rμ ≤ dim(gS) 및 M ≥ dim(gS) 를 과매개변화의 충분조건으로 증명한다.
• 정리 2: 모델 용량 D1 및 D2가 ≤ dim(gS) 이고 과매개변화에서 포화한다는 것을 보인다.
• 정리 3: 특정 손실 형태에 대해 최적점에서 해시안(rank)은 min{dim(gS), 2dr−r^2−r}로 한정됨을 보여 주고, 솔루션에서의 활성 곡률 방향을 제한한다.
• VQE, 유니타리 컴필레이션, 양자 자동인코딩에 대한 수치 시연으로 위의 페이즈 트랜지션을 설명한다.

실험 결과

연구 질문

• RQ1 주어진 학습 집합 S에서 QNN의 과매개변화를 가능케 하는 최소 파라미터 수 M은 얼마인가?
• RQ2 QNN 생성자와 관련된 다이나믹 Lie 대수의 차원이 QFIM 계수의 계수(rank)와 Hessian 계수의 상한에 어떻게 작용하는가?
• RQ3 과매개변화가 QNN의 용량 포화에 대응하는가, 그리고 이것이 학습 효율성과 어떤 관계를 가지는가?
• RQ4 Mc에서 예측된 페이즈 트랜지션이 VQE, 단위ary 컴필레이션, 자동인코딩과 같은 서로 다른 작업에서 관찰되는가?
• RQ5 결과가 양자 최적 제어(quantum optimal control)와 같은 더 넓은 양자 알고리즘으로 확장되는가?

주요 결과

• 각 학습 상태에 대한 QFIM 계수는 dim( gS )로 상한되며 Mc ≳ dim( gS )를 설정한다.
• 과매개변화는 허위 로컬 최솟값의 소멸과 학습 가능성 향상과 함께 계산적 페이즈 트랜지션을 유도한다.
• 과매개변화 시 모델 용량 D1 및 D2는 dim( gS )로 제한되며, 하나의 지형점에서 적어도 포화된다.
• 최적점에서의 해시안(rank)은 min{ dim( gS ), 2dr − r^2 − r }로 한정되어 해결책에서 활성 곡률 방향을 제한한다.
• 수치 실험(VQE, 유니타리 컴필레이션, 자동인코딩)은 전이의 시작이 대략 M ≈ dim( gS ) 근처에서 나타나고 QFIM/해시안의 계수가 이론과 일치한다.
• 결과는 양자 최적 제어 및 변분형 양자 알고리즘에도 적용된다.