[논문 리뷰] Approximation and Generalization Capacities of Parametrized Quantum Circuits for Functions in Sobolev Spaces

Alberto Blázquez Manzano, David Dechant외 2명|arXiv (Cornell University)|2023. 07. 27.

Quantum Computing Algorithms and ArchitectureComputer Science인용 수 3

한 줄 요약

이 논문은 적절한 정규화와 손실 함수를 사용할 경우, 매개변수화된 양자 회로(PQCs)가 소볼레프 공간, 연속 함수, 그리고 Lp 공간의 함수를 보편적으로 근사할 수 있음을 입증한다. 입력 데이터에 대해 최소-최대 특성 스케일링을 적용하고 일관된 손실 함수(예: ℓh1 또는 ℓhk)를 사용함으로써 PQCs는 개선된 근사 및 일반화 성능을 달성하며, 이론적 경계를 통해 손실 함수와 목표 거리 간의 관계를 규명한다.

ABSTRACT

Parametrized quantum circuits (PQC) are quantum circuits which consist of both fixed and parametrized gates. In recent approaches to quantum machine learning (QML), PQCs are essentially ubiquitous and play the role analogous to classical neural networks. They are used to learn various types of data, with an underlying expectation that if the PQC is made sufficiently deep, and the data plentiful, the generalization error will vanish, and the model will capture the essential features of the distribution. While there exist results proving the approximability of square-integrable functions by PQCs under the $L^2$ distance, the approximation for other function spaces and under other distances has been less explored. In this work we show that PQCs can approximate the space of continuous functions, $p$-integrable functions and the $H^k$ Sobolev spaces under specific distances. Moreover, we develop generalization bounds that connect different function spaces and distances. These results provide a theoretical basis for different applications of PQCs, for example for solving differential equations. Furthermore, they provide us with new insight on the role of the data normalization in PQCs and of loss functions which better suit the specific needs of the users.

연구 동기 및 목표

• PQCs가 소볼레프 공간, 연속 함수, 그리고 Lp 공간의 함수를 근사할 수 있는 이론적 기반을 확립하는 것.
• 최소-최대 스케일링을 통한 데이터 정규화가 이러한 함수 공간에서의 보편적 근사 가능성을 가능하게 한다는 것을 보여주는 것.
• 소볼레프 부등식을 활용해 미분 가능한 손실 함수(예: ℓh1)와 목표 거리(예: Supremum 노름) 간의 일致성을 도출하는 것.
• PQC 기반 모델에서 미분 기반 기계학습과 특정 손실 함수를 사용하는 데 이론적 근거를 제공하는 것.
• 양자 기계학습에서 이론적 근사 능력과 실질적 학습 성능 간 격차를 메우는 것.

제안 방법

• 입력 데이터에 최소-최대 특성 스케일링을 적용하여 입력을 구간 [−π/2, π/2]로 매핑함으로써 C0, Lp, Hk 공간에서의 보편적 근사가 가능하도록 하는 방법을 제안한다.
• PQC의 기대값 fθ(x) = ⟨0|U†(x;θ)MU(x;θ)|0⟩을 일반화된 삼각급수로 간주함으로써 부드럽고 적분 가능한 함수의 근사를 가능하게 한다.
• 소볼레프 부등식을 활용해 손실 함수(예: ℓh1)와 목표 거리(예: L∞) 간의 일致성을 도출하며, 이는 손실을 최소화할수록 점차적으로 목표 거리도 최소화됨을 보장한다.
• ℓhk 손실의 기대값과 Lp 및 Hk 거리 간의 관계를 연결하는 일반화 경계를 수립함으로써 학습 안정성에 대한 이론적 보장을 제공한다.
• 100회의 학습 실행을 통한 수치 실험을 수행하여 정규화 및 ℓh1 손실이 수렴성과 근사 정확도를 향상시킴을 검증한다.
• 인코딩 전략(예: arcsin 매핑)의 선택이 근사 성능 향상에 기여하며, 이는 고전적 신경망의 활성화 함수와 유사한 역할을 한다.

실험 결과

연구 질문

• RQ1 적절한 입력 정규화 조건 하에서 PQCs가 소볼레프 공간 Hk, 연속 함수 C0, 그리고 Lp 공간의 함수를 보편적으로 근사할 수 있는가?
• RQ2 PQC 학습에서 L2, L∞, 또는 Hk와 같은 목표 거리와 일치하는 손실 함수는 어떻게 선택할 수 있는가?
• RQ3 입력 데이터 정규화가 PQCs의 근사 및 일반화 능력 향상에 어떤 역할을 하는가?
• RQ4 왜 미분 기반 기계학습에서 ℓh1 손실이 실질적으로 표준 L2 기반 학습보다 우수한가? 이는 이론과 일치하는가?
• RQ5 소볼레프 부등식은 어떤 정도까지 비미분 가능한 목표 거리 근사에 대해 미분 가능한 손실 함수의 사용 가능성을 보장하는가?

주요 결과

• 입력 데이터가 [−π/2, π/2]로 정규화되면 PQCs는 Lp, C0, Hk 거리 기준으로 Hk, C0, Lp 공간의 함수를 보편적으로 근사할 수 있다.
• ℓh1 손실 함수는 실수 공간 R에서 Supremum(L∞) 거리와 일치하며, 비미분 가능한 l∞ 손실의 대체로 사용 가능한 미분 가능한 대안이다.
• 일반화 경계 분석을 통해 ℓhk 손실을 최소화하면 점차적으로 Lp 및 Hk 거리도 최소화됨을 보여주며, 이는 학습 시의 활용 타당성을 입증한다.
• 수치 실험 결과, [−π/2, π/2]로의 정규화와 ℓh1 손실 조합이 표준 L2 손실 대비 목표 함수 근사 정확도를 크게 향상시킴을 확인하였다.
• ℓh1 손실은 수렴 속도와 정확도 측면에서 ℓl2를 능가하며, 특히 도함수 정보가 제공될 경우 더욱 두드러진 성능 향상을 보였다.
• 이론적 결과에 따르면, 고차원 문제에서의 미분 기반 기계학습의 성공은 입력 차원의 임계값에 의해 제한될 수 있으며, 이는 향후 추가 연구가 필요함을 시사한다.