[논문 리뷰] The Inductive Bias of Quantum Kernels

Jonas M. Kübler, Simon Buchholz외 1명|arXiv (Cornell University)|2021. 06. 07.

Quantum Computing Algorithms and Architecture참고 문헌 44인용 수 6

한 줄 요약

이 논문은 양자 커널 방법의 귀납적 편향을 조사하며, 양자 기계학습에서의 양자 우월성이 오직 양자 커널이 고전적으로 시뮬레이션하기 어려운 문제 전용 지식을 코딩할 때만 발생함을 보여준다. 저자들은 낮은 차원의 재생 커널 힐버트 공간(RKHS)과 계산이 어려운 함수를 갖는 경우에 양자 우월성이 가능하다고 밝히지만, 이러한 커널을 추정하기 위해서는 지수적으로 많은 측정이 필요하여 실용적인 장벽이 된다고 밝힌다.

ABSTRACT

It has been hypothesized that quantum computers may lend themselves well to applications in machine learning. In the present work, we analyze function classes defined via quantum kernels. Quantum computers offer the possibility to efficiently compute inner products of exponentially large density operators that are classically hard to compute. However, having an exponentially large feature space renders the problem of generalization hard. Furthermore, being able to evaluate inner products in high dimensional spaces efficiently by itself does not guarantee a quantum advantage, as already classically tractable kernels can correspond to high- or infinite-dimensional reproducing kernel Hilbert spaces (RKHS). We analyze the spectral properties of quantum kernels and find that we can expect an advantage if their RKHS is low dimensional and contains functions that are hard to compute classically. If the target function is known to lie in this class, this implies a quantum advantage, as the quantum computer can encode this inductive bias, whereas there is no classically efficient way to constrain the function class in the same way. However, we show that finding suitable quantum kernels is not easy because the kernel evaluation might require exponentially many measurements. In conclusion, our message is a somewhat sobering one: we conjecture that quantum machine learning models can offer speed-ups only if we manage to encode knowledge about the problem at hand into quantum circuits, while encoding the same bias into a classical model would be hard. These situations may plausibly occur when learning on data generated by a quantum process, however, they appear to be harder to come by for classical datasets.

연구 동기 및 목표

• 양자 커널 방법이 고전적 모델보다 계산 우위를 제공할 수 있는 조건을 이해하는 것.
• 재생 커널 힐버트 공간(RKHS)의 스펙트럼 분석을 통해 양자 커널의 귀납적 편향을 수식화하는 것.
• 고차원 특징 공간의 도전 과제를 감안할 때, 양자 커널이 잘 일반화되는 조건을 규명하는 것.
• 양자 커널 방법에서 표현력과 일반화 사이의 상충 관계를 조사하는 것.
• 양자 우월성이 고전적 데이터셋에서 가능할지 아니면 오직 양자 과정에서 생성된 데이터에서만 가능한지 명확히 하는 것.

제안 방법

• 커널 행렬의 고유값 스펙트럼에 초점을 맞춰 양자 커널의 스펙트럼 특성을 분석하여 그들의 귀납적 편향을 특성화한다.
• 과도하게 표현력이 강한 양자 임bedding은 일반화 성능을 악화시킴을 증명하여 커널 설계에 이론적 한계를 설정한다(정리 1).
• 고전적으로 실현하기 어려운 귀납적 편향을 포함하도록 양자 커널을 저차원 부분공간으로 투영하는 방법을 제안한다(정리 2).
• 수치 시뮬레이션을 통해 합성 데이터셋에서 커널 성능을 평가하며, 전체 양자 커널, RBF 커널, 편향된 양자 커널을 비교한다.
• 정규화를 통한 커널 리지 회귀를 사용하여 일반화 성능을 평가하며, 최적의 정규화를 선택하여 성능의 상한을 설정한다.
• 완전한 양자 상태 진동을 시뮬레이션하여 정확한 커널 값을 계산함으로써 이론적 명확성을 확보하고 측정 노이즈를 피한다.

실험 결과

연구 질문

• RQ1 양자 커널 방법이 기계학습에서 고전적 모델을 능가할 수 있는 조건은 무엇인가?
• RQ2 양자 커널의 스펙트럼 구조는 그 일반화 성능에 어떻게 영향을 미치는가?
• RQ3 양자 커널은 고전적으로 실현하기 어려운 귀납적 편향을 코딩할 수 있는가?
• RQ4 편향된 양자 커널을 추정하는 데 드는 비용은 무엇이며, 이는 시스템 크기에 따라 유리하게 증가하는가?
• RQ5 기계학습에서의 양자 우월성은 고전적 데이터셋에서 가능할 수 있는가, 아니면 오직 양자 과정에서 생성된 데이터에서만 가능한가?

주요 결과

• 정리 1에 따르면, 양자 힐버트 공간으로의 데이터 임bedding이 지나치게 표현력이 강할 경우 양자 커널 방법은 일반화에 실패한다.
• 양자 우월성은 오직 양자 커널의 RKHS가 저차원이면서도 고전적으로 계산하기 어려운 함수를 포함할 때만 가능하다.
• 양자 커널의 스펙트럼 편향은 투영을 통해 설계 가능하며, 이는 고전적으로 재현하기 어려운 귀납적 편향을 생성한다.
• 이러한 편향된 양자 커널을 추정하기 위해서는 지수적으로 많은 측정이 필요하며, 이는 양자 신경망의 빈 테이블릿 현상과 유사한 제약이다.
• 실험 결과, 최적의 정규화를 사용하더라도 전체 양자 커널과 RBF 커널은 성능이 열악한 반면, 편향된 커널은 저차원 RKHS 덕분에 잘 일반화됨을 확인하였다.
• 편향된 커널의 경우 큐비트 수가 증가할수록 커널 목표 일치도가 증가하며, 이는 향상된 학습 성능과 상관관계가 있다.