[论文解读] Exponential concentration in quantum kernel methods

Supanut Thanasilp, Samson Wang+2 more|arXiv (Cornell University)|Aug 23, 2022

Quantum Computing Algorithms and Architecture被引用 7

一句话总结

本文識別出量子核值的指數集中現象是量子核方法可訓練性的關鍵障礙，顯示由於表達能力、全域測量、糾纏或雜訊，核值可能因表達能力、全域測量、糾纏或雜訊而指數集中至固定平均值，進而導致指數級的測量開銷。作者推導出解析的集中界限，並證明在這些條件下，即使具有凸優化保證，核訓練亦變得不可行。

ABSTRACT

Kernel methods in Quantum Machine Learning (QML) have recently gained significant attention as a potential candidate for achieving a quantum advantage in data analysis. Among other attractive properties, when training a kernel-based model one is guaranteed to find the optimal model's parameters due to the convexity of the training landscape. However, this is based on the assumption that the quantum kernel can be efficiently obtained from quantum hardware. In this work we study the performance of quantum kernel models from the perspective of the resources needed to accurately estimate kernel values. We show that, under certain conditions, values of quantum kernels over different input data can be exponentially concentrated (in the number of qubits) towards some fixed value. Thus on training with a polynomial number of measurements, one ends up with a trivial model where the predictions on unseen inputs are independent of the input data. We identify four sources that can lead to concentration including: expressivity of data embedding, global measurements, entanglement and noise. For each source, an associated concentration bound of quantum kernels is analytically derived. Lastly, we show that when dealing with classical data, training a parametrized data embedding with a kernel alignment method is also susceptible to exponential concentration. Our results are verified through numerical simulations for several QML tasks. Altogether, we provide guidelines indicating that certain features should be avoided to ensure the efficient evaluation of quantum kernels and so the performance of quantum kernel methods.

研究动机与目标

• 在實際硬體限制下，探討量子核方法的可訓練性，特別是核值估計的效率。
• 識別並分析可能使量子核訓練不可行的指數核集中來源。
• 在各種物理與架構條件下，提供量子核的解析集中界限。
• 將量子神經網路中「荒蕪高原」的概念延伸至量子核方法，識別類似的「核集中」現象。
• 提供實務指南，協助設計可訓練的量子核模型，避免如全域測量與高表達能力等問題特徵。

提出的方法

• 利用厄米特算子期望值的變異數分析，推導量子核值的解析集中界限。
• 將參數化量子核建模為輸入資料與變分參數的函數，分析其對態表達能力與測量類型的依賴性。
• 應用荒蕪高原理論的結果，顯示當核的期望值在參數變動下變異數趨近於零時，會產生核集中。
• 引入含局部泡利雜訊的參數化量子核模型，雜訊作用於每個電路層之前與之後，並在該雜訊模型下推導集中界限。
• 使用夾層式2-Rényi相對熵與跡範數，量化雜訊量子態與最大混合態之間的偏移程度。
• 在多個QML任務中執行數值模擬，以驗證指數核集中的理論預測及其對訓練的影響。

实验结果

研究问题

• RQ1 隨著量子位數增加，量子核值如何會指數集中至固定平均值？
• RQ2 全域測量、糾纏、表達能力與雜訊各自如何貢獻於量子核方法中的核集中？
• RQ3 核集中在多大程度上會削弱量子核模型的可訓練性，即使其具有凸優化結構？
• RQ4 量子神經網路中的荒蕪高原概念能否推廣至量子核方法？若可，如何推廣？
• RQ5 在不同架構選擇下，理想與雜訊量子核模型的核集中解析界限為何？

主要发现

• 隨著量子位數增加，量子核值可能指數集中至固定平均值，導致精確估計所需測量次數呈指數級增長。
• 保真度量子核的集中受界限 $ F(q,L) = q^{2L+1} \big\braceVert \rho_0 - \frac{\rm I}{2^n} \big\braceVert_2 $ 控制，顯示雜訊與電路深度會強化集中現象。
• 投影量子核的集中受界限 $ F(q,L) = (8\ln 2)\gamma n q^{b(L+1)} S_2\left(\rho_0 \Big{\|} \frac{\rm I}{2^n} \right) $ 控制，其中 $ b \approx 0.72 $，顯示其對雜訊與態純度的強烈依賴性。
• 由全域測量引起的核集中，與QNN中的荒蕪高原現象在數學上可連結，其核變異數隨系統大小指數衰減。
• 即使使用經典資料與核對齊訓練，參數化資料嵌入仍可能遭受指數集中，進而限制模型表現。
• 數值模擬確認，在高量子位數情境下，取樣雜訊會主導於真實核差異，導致模型即使在凸優化下亦無法訓練。