[논문 리뷰] Generalization in Quantum Machine Learning: a Quantum Information Perspective

Leonardo Banchi, Jason L. Pereira외 1명|arXiv (Cornell University)|2021. 02. 17.

Quantum Computing Algorithms and Architecture참고 문헌 46인용 수 11

한 줄 요약

이 논문은 양자 기계학습(QML)에서 일반화를 이해하기 위한 양자 정보이론적 프레임워크를 수립하며, QML 분류를 양자 가설 검정(QHT)과 연결한다. 분류 정확도와 일반화 능력은 레니 상호정보량 $I(C{:}Q)$와 $I_2(X{:}Q)$에 의해 결정되며, 더 나은 일반화를 위한 데이터 임bedding 최적화를 위한 양자 정보병오염 원리(Information Bottleneck)를 제안한다. 이는 이징 스핀 체인에서 변분 양자 정보병오염(VQIB) 방법을 통해 검증되었다.

ABSTRACT

Quantum classification and hypothesis testing are two tightly related subjects, the main difference being that the former is data driven: how to assign to quantum states $ρ(x)$ the corresponding class $c$ (or hypothesis) is learnt from examples during training, where $x$ can be either tunable experimental parameters or classical data "embedded" into quantum states. Does the model generalize? This is the main question in any data-driven strategy, namely the ability to predict the correct class even of previously unseen states. Here we establish a link between quantum machine learning classification and quantum hypothesis testing (state and channel discrimination) and then show that the accuracy and generalization capability of quantum classifiers depend on the (Rényi) mutual informations $I(C{:}Q)$ and $I_2(X{:}Q)$ between the quantum state space $Q$ and the classical parameter space $X$ or class space $C$. Based on the above characterization, we then show how different properties of $Q$ affect classification accuracy and generalization, such as the dimension of the Hilbert space, the amount of noise, and the amount of neglected information from $X$ via, e.g., pooling layers. Moreover, we introduce a quantum version of the Information Bottleneck principle that allows us to explore the various tradeoffs between accuracy and generalization. Finally, in order to check our theoretical predictions, we study the classification of the quantum phases of an Ising spin chain, and we propose the Variational Quantum Information Bottleneck (VQIB) method to optimize quantum embeddings of classical data to favor generalization.

연구 동기 및 목표

• 양자 기계학습(QML) 분류와 양자 가설 검정(QHT) 사이의 이론적 연관성을 수립하는 것, 특히 상태 및 채널 식별에 중점을 둔다.
• 분류 정확도와 일반화를 규정하는 기본 척도로 레니 상호정보량 $I(C{:}Q)$와 $I_2(X{:}Q)$를 규명하는 것.
• 분류 정확도와 일반화의 균형을 이루기 위해 양자 임베딩을 최적화하기 위한 양자 정보병오염 원리의 개발.
• 변분 양자 정보병오염(VQIB) 방법을 사용하여 이징 스핀 체인에서의 양자 상 전이 인식 사례 연구를 통해 이론적 예측을 검증하는 것.
• 힐베르트 공간 차원, 노이즈, 풀링에 의한 정보 손실 등의 양자 시스템 특성이 QML 일반화에 미치는 영향을 분석하는 것.

제안 방법

• 클래스를 가설로, 양자 상태를 결과로 간주하여 QML 분류 문제를 양자 가설 검정(QHT) 문제로 공식화한다.
• 레니 상호정보량 $I_{eta}(C{:}Q)$와 $I_{eta}(X{:}Q)$를 사용하여 학습 오차와 테스트 오차의 경계를 도출하며, $eta = 1/2$일 경우 상태의 유사도도 수식으로 표현한다.
• 분류 정확도와 일반화 사이의 트레이드오프를 최적화하기 위해 $I_{1/2}(X{:}Q|C)$와 $I_{1/2}(C{:}Q)$를 최소화하는 방식으로 양자 정보병오염(QIB) 원리를 도입한다.
• 양자 상태 공간을 최적화하여 일반화 능력을 향상시키는 방식으로, 고전적 데이터의 양자 임베딩을 훈련하기 위한 변분 양자 정보병오염(VQIB) 방법을 제안한다.
• 클래스 조건부 상태 간의 구별 가능성은 $ rac{1}{2} ext{Tr}ig[ig( ho_c^{1/2} ho_{c'}^{1/2}ig)^2ig] $로 표현되며, 이는 $I_{1/2}(C{:}Q)$와 연결된다.
• 1차원 횡방향 자기장 이징 모델에서의 양자 상 인식 문제에 프레임워크를 적용하여, VQIB로 최적화된 임베딩을 통해 새로운 양자 상에 대한 일반화 성능을 입증한다.

실험 결과

연구 질문

• RQ1 클래스 공간 $C$와 양자 상태 공간 $Q$ 사이의 레니 상호정보량 $I(C{:}Q)$는 양자 분류기의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 입력 데이터 $X$와 양자 상태 $Q$ 사이의 상호정보량 $I_2(X{:}Q)$는 QML에서 일반화를 결정하는 데 어떤 역할을 하는가?
• RQ3 정확도와 일반화를 균형 잡는 양자 임베딩 설계를 이끌 수 있도록, 정보병오염 원리의 양자 버전을 제안할 수 있는가?
• RQ4 힐베르트 공간 차원, 노이즈, 풀링에 의한 정보 손실 등의 양자 시스템 특성은 QML 모델의 일반화 능력에 어떻게 영향을 미치는가?
• RQ5 이론적 프레임워크는 이징 스핀 체인의 양자 상 인식과 같은 구체적인 물리 모델을 통해 검증될 수 있는가?

주요 결과

• QML에서의 분류 오차는 레니 상호정보량 $I_{1/2}(C{:}Q)$에 의해 경계지어지며, 이는 클래스 조건부 상태 $ \rho_c $ 간 평균 유사도에 의존한다. 클래스 간의 유사도가 낮을수록 일반화 능력이 향상된다.
• $I_{1/2}(X{:}Q|C)$가 최소화될 때 일반화가 향상되며, 이는 같은 클래스에 属하는 입력의 양자 임베딩 간의 유사도가 높을 때 발생한다. 즉, $x,y$가 같은 클래스에 속할 경우 $F( ho(x), ho(y)) \to 1$이 된다.
• 양자 정보병오염 원리는 $I_{1/2}(X{:}Q|C)$와 $I_{1/2}(C{:}Q)$를 통해 수립되며, 정확도와 일반화의 균형을 이루는 양자 임베딩 최적화를 가능하게 한다.
• VQIB 방법은 이징 스핀 체인에 대한 양자 임베딩을 성공적으로 최적화하여, $I_{1/2}(X{:}Q|C)$를 통제적으로 최소화함으로써 새로운 양자 상에 대한 일반화 능력을 향상시켰다.
• 프레임워크는 유한한 학습 데이터로 인해 최소 달성 가능한 테스트 오차가 제한됨을 드러내며, 일반화 능력은 데이터와 양자 상태 간의 상호정보량에 의해 제약을 받는다는 양자 편향-분산 트레이드오프를 규명하였다.
• $I_{1/2}(X{:}Q|C)$와 $I_{1/2}(C{:}Q)$의 이론적 표현은 상태 유사도와 트레이스 함수를 통해 유도되었으며, 전체 상태 톰오그라피가 필요 없이도 임베딩 품질을 정량적으로 분석할 수 있게 하였다.