[논문 리뷰] Generalization Metrics for Practical Quantum Advantage in Generative Models

Kaitlin Gili, Marta Mauri외 1명|arXiv (Cornell University)|2022. 01. 21.

Quantum Computing Algorithms and Architecture인용 수 6

한 줄 요약

이 논문은 이산적이고 제약 조건이 있는 최적화 데이터셋에서의 일반화 성능을 평가하여 생성 모델링에서 실용적인 양자 우월성을 측정하는 통합적이고 샘플 기반 프레임워크를 제안한다. 양자 힌트를 받은 텐서 네트워크 기반 모델(TNBMs)이 GAN보다 최대 68배 더 많은 고유하고 유효한 미사용 샘플을 생성하고, 품질이 61.2배 뛰어나며, 실제 생성 작업에서의 양자 우월성을 평가하는 데 있어 강력하고 비교 가능한 지표를 제공한다.

ABSTRACT

As the quantum computing community gravitates towards understanding the practical benefits of quantum computers, having a clear definition and evaluation scheme for assessing practical quantum advantage in the context of specific applications is paramount. Generative modeling, for example, is a widely accepted natural use case for quantum computers, and yet has lacked a concrete approach for quantifying success of quantum models over classical ones. In this work, we construct a simple and unambiguous approach to probe practical quantum advantage for generative modeling by measuring the algorithm's generalization performance. Using the sample-based approach proposed here, any generative model, from state-of-the-art classical generative models such as GANs to quantum models such as Quantum Circuit Born Machines, can be evaluated on the same ground on a concrete well-defined framework. In contrast to other sample-based metrics for probing practical generalization, we leverage constrained optimization problems (e.g., cardinality-constrained problems) and use these discrete datasets to define specific metrics capable of unambiguously measuring the quality of the samples and the model's generalization capabilities for generating data beyond the training set but still within the valid solution space. Additionally, our metrics can diagnose trainability issues such as mode collapse and overfitting, as we illustrate when comparing GANs to quantum-inspired models built out of tensor networks. Our simulation results show that our quantum-inspired models have up to a $68 imes$ enhancement in generating unseen unique and valid samples compared to GANs, and a ratio of 61:2 for generating samples with better quality than those observed in the training set. We foresee these metrics as valuable tools for rigorously defining practical quantum advantage in the domain of generative modeling.

연구 동기 및 목표

• 비점근적 양자 가속과는 다를 바 있는, 생성 모델링에서 실용적인 양자 우월성을 측정하기 위한 명확하고 통합적인 프레임워크를 수립하기 위해.
• 고전적 및 양자 생성 모델 모두에 적용 가능한 방식으로 일반화 성능를 정의하고 정량화하기 위해.
• 모드 붕괴와 과적합과 같은 일반적인 학습 문제들을 샘플 기반 지표를 통해 진단하기 위해.
• 동일한 평가 기준에서 고전적 모델(GANs 등)과 양자 힌트를 받은 모델(TNBMs 등) 간의 공정하고 직접적인 비교를 가능하게 하기 위해.
• 미래의 양자 및 고전적 생성 모델을 실제 응용 환경에서 평가하기 위한 확장 가능하고 실용적인 벤치마크를 제공하기 위해.

제안 방법

• 해결 공간이 명확하고 모호하지 않은 해를 정의하기 위해 이산적이고 제약 조건이 있는 최적화 문제(예: 카디널리티 제약 문제)를 데이터셋으로 사용한다.
• 일반화는 모델이 훈련 세트에 포함되지 않은, 동시에 해공간 내에 있는 유효한 샘플을 생성할 수 있는 능력으로 평가된다.
• 주요 지표로는 훈련 세트 외부에서 생성된 고유한 유효 샘플의 수와 총 생성 샘플 중 훈련 세트보다 우수한 품질의 샘플 비율이 포함된다.
• 생성 출력의 다양성과 유효성을 분석함으로써 샘플 기반 평가를 활용해 모드 붕괴나 과적합과 같은 학습 문제를 탐지한다.
• 동일한 이산 데이터셋을 기반으로 시뮬레이션 기반 평가를 통해 고전적 GANs와 양자 힌트를 받은 텐서 네트워크 기반 모델(TNBMs) 간의 비교에 이 방법을 적용한다.
• 향후 하이브리드 및 완전한 양자 생성 아키텍처(예: 양자 회로 보른 기반 기계)에도 확장 가능한 프레임워크로 설계되어 있다.

Figure 1: A visual representation of generalization-related concepts. The figure shows the different behaviours a model can exhibit when generating data, using a 3x3 Bars and Stripes dataset as an example. The top two rows display a set of samples $x$ distributed according to the data distribution $

실험 결과

연구 질문

• RQ1 어떻게 하면 점근적 스케일링과 독립적이면서도 실제 문제에 적용 가능한 방식으로 생성 모델링에서 실용적인 양자 우월성을 정의하고 측정할 수 있는가?
• RQ2 훈련 세트 외부에서 다양하고 유효하며 고급 품질의 샘플을 생성하는 것과 같은 일반화 성능가 실용적 양자 우월성에 대한 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ3 고전적 생성 모델(GANs 등)과 양자 힌트를 받은 모델(TNBMs 등)을 동일한 이산 데이터셋에서 공정하게 비교할 수 있는 통합 평가 프레임워크를 만들 수 있는가?
• RQ4 모드 붕괴나 과적합과 같은 일반적인 학습 문제들이 다양한 생성 모델의 일반화 성능에 어떻게 나타나는가?
• RQ5 양자 힌트를 받은 모델이 최신 고전적 모델 대비 일반화 성능에서 어떤 정량적 향상을 이룰 수 있는가?

주요 결과

• 양자 힌트를 받은 텐서 네트워크 기반 모델(TNBMs)은 동일한 이산 데이터셋에서 GAN보다 최대 68배 더 많은 고유하고 유효한 새로운 샘플을 생성한다.
• TNBMs가 생성한 품질이 훈련 세트의 어떤 샘플보다 뛰어난 샘플 수와 GAN이 생성한 것의 비율은 61.2:1로, 품질 측면에서 상당한 우위를 보인다.
• 생성 샘플의 다양성과 유효성을 분석함으로써 이 프레임워크는 GAN에서의 모드 붕괴와 과적합을 성공적으로 탐지한다.
• 이 연구는 일반화 성능가 생성 모델링에서 실용적 양자 우월성에 대한 강력하고 측정 가능한 대체 지표임을 입증한다.
• 제안된 지표는 강건하고 확장 가능하며 고전적 및 양자 생성 모델 모두에 적용 가능하여 공정하고 직접적인 비교를 가능하게 한다.
• 이 프레임워크는 향후 양자 하드웨어 및 하이브리드 아키텍처로도 확장 가능하여 실제 양자 장치에서의 일반화 성능 평가로 이어지는 길을 열어준다.

Figure 2: A visual representation of all possible spaces where a generated query might be located. Each query is represented by a color-coded dot, where the color-code is the same as in Figure 1 (Data-Copying: blue, Pre-Generalization: yellow, Validity-Based Generalization: purple) and the color-sha