[논문 리뷰] Exponential concentration in quantum kernel methods

Supanut Thanasilp, Samson Wang외 2명|arXiv (Cornell University)|2022. 08. 23.

Quantum Computing Algorithms and Architecture인용 수 7

한 줄 요약

이 논문은 양자 커널 방법에서 학습 가능성의 핵심 장벽으로서 양자 커널 값의 지수적 농축을 규명하며, 표현력, 전역 측정, 얽힘 또는 노이즈로 인해 커널 값이 고정된 평균으로 지수적으로 농축될 수 있음을 보여주며, 이는 지수적 측정 오버헤드를 초래한다. 저자들은 분석적 농축 경계를 유도하고 이러한 조건 하에서 조건부 최적화 보장을 가진다 해도 커널 학습이 비가능해질 수 있음을 입증한다.

ABSTRACT

Kernel methods in Quantum Machine Learning (QML) have recently gained significant attention as a potential candidate for achieving a quantum advantage in data analysis. Among other attractive properties, when training a kernel-based model one is guaranteed to find the optimal model's parameters due to the convexity of the training landscape. However, this is based on the assumption that the quantum kernel can be efficiently obtained from quantum hardware. In this work we study the performance of quantum kernel models from the perspective of the resources needed to accurately estimate kernel values. We show that, under certain conditions, values of quantum kernels over different input data can be exponentially concentrated (in the number of qubits) towards some fixed value. Thus on training with a polynomial number of measurements, one ends up with a trivial model where the predictions on unseen inputs are independent of the input data. We identify four sources that can lead to concentration including: expressivity of data embedding, global measurements, entanglement and noise. For each source, an associated concentration bound of quantum kernels is analytically derived. Lastly, we show that when dealing with classical data, training a parametrized data embedding with a kernel alignment method is also susceptible to exponential concentration. Our results are verified through numerical simulations for several QML tasks. Altogether, we provide guidelines indicating that certain features should be avoided to ensure the efficient evaluation of quantum kernels and so the performance of quantum kernel methods.

연구 동기 및 목표

• 실제 하드웨어 제약 조건 하에서 양자 커널 방법의 학습 가능성, 특히 커널 값 추정의 효율성을 조사하기 위해.
• 양자 커널 학습을 비가능하게 만들 수 있는 지수적 커널 농축의 원인을 규명하고 분석하기 위해.
• 다양한 물리적 및 아키텍처 조건 하에서 양자 커널의 분석적 농축 경계를 제공하기 위해.
• 양자 신경망에서의 빈 테이블릿 현상 개념을 양자 커널 방법으로 확장하여 유사한 '커널 농축' 현상을 규명하기 위해.
• 전역 측정 및 높은 표현력과 같은 문제적 특성을 피하는 실용적 지침을 제공하기 위해.

제안 방법

• 헤르미트 연산자의 기대값의 분산 분석을 통해 양자 커널 값의 분석적 농축 경계를 유도하기 위해.
• 입력 데이터와 변량 매개변수의 함수로 파arametrized 양자 커널을 모델링하고, 상태의 표현력과 측정 유형에 대한 의존성을 분석하기 위해.
• 빈 테이블릿 이론의 결과를 적용하여 커널 기대값이 매개변수 변화에 따라 분산이 사라질 경우 커널 농축이 발생함을 보여주기 위해.
• 각 회로 계층 이전 및 이후에 국소 파울리 노이즈가 작용하는 노이즈가 있는 파arametrized 양자 커널 모델을 도입하고, 이 노이즈 모델 하에서 농축 경계를 유도하기 위해.
• 스위치드 2-레니 지수 상대 엔트로피와 트레이스 노름을 사용하여 노이즈가 있는 양자 상태가 최대 혼합 상태에서 벗어나는 정도를 정량화하기 위해.
• 이론적 예측인 지수적 커널 농축과 그 학습에 미치는 영향을 검증하기 위해 다양한 QML 작업에서 수치 시뮬레이션을 수행하기 위해.

실험 결과

연구 질문

• RQ1 큐비트 수가 증가함에 따라 양자 커널 값이 고정된 평균으로 지수적으로 농축되는 원인은 무엇인가?
• RQ2 전역 측정, 얽힘, 표현력 및 노이즈 각각이 양자 커널 방법에서 커널 농축에 어떻게 기여하는가?
• RQ3 조금씩 최적화 경로가 존재함에도 불구하고, 커널 농축은 양자 커널 모델의 학습 가능성에 얼마나 심각하게 악영향을 미치는가?
• RQ4 양자 신경망에서의 빈 테이블릿 개념을 양자 커널 방법으로 일반화할 수 있는가? 만약 가능하면, 어떻게 일반화할 수 있는가?
• RQ5 다양한 아키텍처 선택 조건 하에서 이상적 및 노이즈가 있는 양자 커널 모델에 대한 커널 농축의 분석적 경계는 무엇인가?

주요 결과

• 큐비트 수가 증가함에 따라 양자 커널 값은 고정된 평균으로 지수적으로 농축되며, 이는 정확한 추정을 위해 필요한 측정 수가 지수적으로 증가함을 의미한다.
• 피델리티 양자 커널의 경우 농축 경계는 $ F(q,L) = q^{2L+1} \big\braceVert \rho_0 - \frac{\rm I}{2^n} \big\braceVert_2 $ 로 주어지며, 이는 노이즈와 회로 깊이가 농축을 악화시킴을 보여준다.
• 프로젝션된 양자 커널의 경우 농축 경계는 $ F(q,L) = (8\ln 2)\gamma n q^{b(L+1)} S_2\left(\rho_0 \Big{\|} \frac{\rm I}{2^n} \right) $ 로 주어지며, 여기서 $ b \approx 0.72 $ 이다. 이는 노이즈와 상태 순도에 강한 의존성을 보임을 시사한다.
• 전역 측정으로 인한 커널 농축은 QNN에서의 빈 테이블릿 현상과 분석적으로 연결되며, 커널의 분산이 시스템 크기와 함께 지수적으로 감소함을 보여준다.
• 기존의 데이터와 커널 정렬 학습을 사용하더라도, 파arametrized 데이터 임bedding는 지수적 농축으로 인해 영향을 받을 수 있으며, 이는 모델 성능을 제한한다.
• 수치 시뮬레이션은 고큐비트 영역에서 샘플링 노이즈가 진짜 커널 차이보다 지배적이며, 조건부 최적화가 존재함에도 불구하고 모델이 학습 불가능해짐을 확인한다.