[論文レビュー] Generalization Metrics for Practical Quantum Advantage in Generative Models

Kaitlin Gili, Marta Mauri+1 more|arXiv (Cornell University)|Jan 21, 2022

Quantum Computing Algorithms and Architecture被引用数 6

ひとこと要約

本論文は、離散的かつ制約付き最適化データセットにおける汎化性能を評価することで、生成モデルにおける実用的量子優位性を測る統一的でサンプルベースのフレームワークを導入する。量子にインspiredされたテンソルネットワークベースのモデル（TNBMs）は、GANsと比較して、最大68倍のユニークで有効な未学習サンプルを生成し、品質の良いサンプルは61.2倍優れている。これは、実世界の生成タスクにおける量子優位性を評価するための堅牢で比較可能な指標を提供する。

ABSTRACT

As the quantum computing community gravitates towards understanding the practical benefits of quantum computers, having a clear definition and evaluation scheme for assessing practical quantum advantage in the context of specific applications is paramount. Generative modeling, for example, is a widely accepted natural use case for quantum computers, and yet has lacked a concrete approach for quantifying success of quantum models over classical ones. In this work, we construct a simple and unambiguous approach to probe practical quantum advantage for generative modeling by measuring the algorithm's generalization performance. Using the sample-based approach proposed here, any generative model, from state-of-the-art classical generative models such as GANs to quantum models such as Quantum Circuit Born Machines, can be evaluated on the same ground on a concrete well-defined framework. In contrast to other sample-based metrics for probing practical generalization, we leverage constrained optimization problems (e.g., cardinality-constrained problems) and use these discrete datasets to define specific metrics capable of unambiguously measuring the quality of the samples and the model's generalization capabilities for generating data beyond the training set but still within the valid solution space. Additionally, our metrics can diagnose trainability issues such as mode collapse and overfitting, as we illustrate when comparing GANs to quantum-inspired models built out of tensor networks. Our simulation results show that our quantum-inspired models have up to a $68 imes$ enhancement in generating unseen unique and valid samples compared to GANs, and a ratio of 61:2 for generating samples with better quality than those observed in the training set. We foresee these metrics as valuable tools for rigorously defining practical quantum advantage in the domain of generative modeling.

研究の動機と目的

• 漸近的量子スピードアップとは異なる、生成モデルにおける実用的量子優位性を測る明確で統一的なフレームワークを確立すること。
• 古典的および量子的生成モデルに適用可能な形で、汎化性能を定義および定量化すること。
• モード崩壊や過学習といった一般的な訓練の問題を、サンプルベースの指標を用いて診断すること。
• 同じ評価基準上での古典的モデル（例：GANs）と量子にインspiredされたモデル（例：TNBMs）の間で、公平かつ直接的な比較を可能にすること。
• 将来的な量子および古典的生成モデルの実世界の応用文脈におけるスケーラブルで実用的なベンチマークを提供すること。

提案手法

• フレームワークは、離散的かつ制約付き最適化問題（例：基数制約付き問題）をデータセットとして用い、明確で曖昧でない解空間を定義する。
• 汎化性能は、モデルが訓練セットに含まれないが解空間内に属する（有効な）かつ未学習の（未知の）サンプルを生成できる能力として評価される。
• 主な指標には、訓練セットにないユニークで有効なサンプルの数、および訓練セットよりも優れた品質のサンプル（高品質サンプル）の総生成サンプルに対する比率が含まれる。
• アプローチは、生成出力の多様性と有効性を分析することで、モード崩壊や過学習といった訓練の落とし穴を検出するサンプルベースの評価を活用する。
• 同じ離散的データセット上で、シミュレーションベースの評価を用いて、古典的GANsと量子にインspiredされたテンソルネットワークベースのモデル（TNBMs）を比較する。
• フレームワークは、将来のハイブリッドおよび完全な量子生成アーキテクチャ（例：量子回路ボーンマシン）へも拡張可能に設計されている。

Figure 1: A visual representation of generalization-related concepts. The figure shows the different behaviours a model can exhibit when generating data, using a 3x3 Bars and Stripes dataset as an example. The top two rows display a set of samples $x$ distributed according to the data distribution $

実験結果

リサーチクエスチョン

• RQ1 生成モデルにおける実用的量子優位性は、漸近的スケーリングとは独立し、実世界の問題に適用可能な形で、どのように定義され、測定可能か？
• RQ2 訓練セットを超えて多様で有効かつ高品質なサンプルを生成する、すなわち汎化性能として定義される能力が、実用的量子優位性の信頼性の高い指標としてどの程度有効か？
• RQ3 古典的生成モデル（例：GANs）と量子にインspiredされたモデル（例：TNBMs）を、同じ離散的データセット上で公平に比較できる統一された評価フレームワークは可能か？
• RQ4 一般的な訓練の問題、例えばモード崩壊や過学習は、異なる生成モデルの汎化性能にどのように現れるか？
• RQ5 量子にインspiredされたモデルは、最先端の古典的モデルと比較して、どの程度の定量的改善を汎化性能で達成できるか？

主な発見

• 量子にインspiredされたテンソルネットワークベースのモデル（TNBMs）は、同じ離散的データセット上において、GANsと比較して最大68倍のユニークで有効な未学習サンプルを生成する。
• TNBMsが生成する高品質サンプル（訓練セットに含まれるいかなるサンプルよりも優れた品質）の数に対する、GANsが生成する同様のサンプルの数の比は61.2である。これは、品質面での顕著な優位性を示している。
• フレームワークは、生成されたサンプルの多様性と有効性を分析することで、GANsにおけるモード崩壊や過学習を効果的に検出できた。
• 本研究では、生成モデルにおける実用的量子優位性の強力で測定可能な代理指標として、汎化性能が有効であることを示した。
• 提案された指標は、堅牢でスケーラブルであり、古典的および量子的生成モデルに適用可能で、公平かつ直接的な比較を可能にしている。
• フレームワークは、将来の量子ハードウェアおよびハイブリッドアーキテクチャへも拡張可能であり、実際の量子デバイス上で汎化性能を評価する道筋を提供している。

Figure 2: A visual representation of all possible spaces where a generated query might be located. Each query is represented by a color-coded dot, where the color-code is the same as in Figure 1 (Data-Copying: blue, Pre-Generalization: yellow, Validity-Based Generalization: purple) and the color-sha