[논문 리뷰] Generalization despite overfitting in quantum machine learning models

Evan Peters, Maria Schuld|arXiv (Cornell University)|2022. 09. 12.

Quantum Computing Algorithms and Architecture참고 문헌 64인용 수 6

한 줄 요약

이 논문은 양자 회로의 구조—특히 데이터 인코딩과 상태 준비 방식—을 푸리에 모드 선택과 연결함으로써 양자 기계학습 모델에서 유익한 오버피팅을 입증한다. 이는 과다 매개변수화된 양자 모델이 노이즈가 있는 데이터를 보간하면서도 잘 일반화할 수 있음을 보여준다. 주요 결과는 충분한 큐비트 수(n_q = ω(log n))가 확보될 경우, 대규모 n 한계에서 일반화 오차가 사라짐을 증명함으로써, 양자 모델에서의 구체적인 사례로서의 유익한 오버피팅을 입증한다.

ABSTRACT

The widespread success of deep neural networks has revealed a surprise in classical machine learning: very complex models often generalize well while simultaneously overfitting training data. This phenomenon of benign overfitting has been studied for a variety of classical models with the goal of better understanding the mechanisms behind deep learning. Characterizing the phenomenon in the context of quantum machine learning might similarly improve our understanding of the relationship between overfitting, overparameterization, and generalization. In this work, we provide a characterization of benign overfitting in quantum models. To do this, we derive the behavior of a classical interpolating Fourier features models for regression on noisy signals, and show how a class of quantum models exhibits analogous features, thereby linking the structure of quantum circuits (such as data-encoding and state preparation operations) to overparameterization and overfitting in quantum models. We intuitively explain these features according to the ability of the quantum model to interpolate noisy data with locally "spiky" behavior and provide a concrete demonstration example of benign overfitting.

연구 동기 및 목표

• 유익한 오버피팅이 고전적 딥 러닝에서 관찰되는 것과 유사하게, 양자 기계학습 모델에서 오버피팅과 일반화가 공존하는 방식을 이해하는 것.
• 특히 데이터 인코딩과 상태 준비 방식을 포함한 양자 회로 설계가 푸리에 모드 제어를 통해 유익한 오버피팅을 가능하게 하는 역할를 규명하는 것.
• 푸리에 분석을 통해 양자 모델의 복잡성과 과다 매개변수화, 일반화 오차 사이의 이론적 프레임워크를 수립하는 것.
• 스パイ크성과 부드러운 신호 복구 사이의 균형을 맞추어, 일반화 오차가 점점 줄어드는 양자 모델의 구체적 사례를 제공하는 것.

제안 방법

• 고전적 보간 푸리에 특징 모델의 일반화 오차 한계를 유도하여, 유익한 오버피팅의 기초를 마련한다.
• 고전적 푸리에 모델과 유사한 구성 요소를 갖춘 양자 모델을 구축하며, 양자 회로 요소(예: 데이터 인코딩, 상태 준비)를 푸리에 모드 선택에 대응시킨다.
• 밴드 제한된 목표 함수를 사용하고, 스펙트럼 지식을 코딩한 상태 |Γ⟩를 정의하여 특징 가중치가 원하는 모드를 향해 편향되도록 한다.
• 데이터 인코딩 전략에서 하미르토니안의 중복성 영향을 분석하여, 스파이크성과 일반화 사이의 균형에 미치는 영향을 조사한다.
• 푸리에 분석을 적용하여 편향과 분산 항을 bound하며, 둘 다 O(1/n²)와 O(1/n + n/d)로 스케일링됨을 보여준다.
• d = ω(n)일 때, 즉 큐비트 수가 데이터 크기의 로그보다 더 빠르게 증가할 경우, 대규모 n 한계에서 일반화 오차가 사라짐을 입증한다.

실험 결과

연구 질문

• RQ1 유익한 오버피팅이 양자 기계학습 모델에서 발생할 수 있는가? 즉, 복잡한 모델이 노이즈가 있는 데이터를 보간하면서도 잘 일반화할 수 있는가?
• RQ2 데이터 인코딩과 상태 준비와 같은 양자 회로 구성 요소는 푸리에 모드 선택과 일반화 행동에 어떻게 관련되어 있는가?
• RQ3 과다 매개변수화는 양자 모델에서 보간이 이루어짐에도 불구하고 일반화를 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 표준 데이터 인코딩 전략에서 하미르토니안 스펙트럼의 중복성은 스파이크성과 신호 복구 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 일반화 오차가 점점 줄어들며, 훈련 오차가 0일 경우에도 여전히 일반화 오차가 점점 사라지는 양자 모델을 구성할 수 있는가?

주요 결과

• 최소 프로베니우스 노름 보간 양자 모델의 편향은 O(1/n²)로 스케일링되며, 노이즈 흡수로 인한 오차 억제가 강하게 나타남을 시사한다.
• 분산은 O(1/n + n/d)로 스케일링되며, d = ω(n)일 때, 즉 큐비트 수가 데이터 크기의 로그보다 더 빠르게 증가할 경우 사라진다.
• 모델의 차원 d가 n을 초과하여 증가할 경우, 유익한 오버피팅이 달성되며, 이는 편향과 분산이 모두 대규모 n 한계에서 감소함을 보장한다.
• 식 (241)을 만족하는 상태 준비 유니터리 U는 최적 특징 가중치 ν_k^opt의 유리한 분포를 가능하게 하며, 목표 대역 Ω_{n_0}의 모드를 선호하고 나머지 모드에 대해 길고 얇은 尾를 형성한다.
• |Γ⟩가 목표 함수의 스펙트럼 지식을 포함함으로써 인덕티브 바이어스가 도입되지만, 향후 유사한 성질을 갖는 데이터 독립적 |Γ⟩의 탐색도 가능함을 시사한다.
• 분석 결과, 데이터 인코딩에서의 하미르토니안 중복성은 일반화 트레이드오프에 강력한 영향을 미치며, 다른 회로 설계 선택으로는 이를 상쇄하기 어려운 정도임을 밝혀냈다.