[논문 리뷰] Quantum-Inspired Support Vector Machine

Chen Ding, Tian-Yi Bao외 1명|arXiv (Cornell University)|2019. 06. 21.

Quantum Computing Algorithms and Architecture참고 문헌 33인용 수 18

한 줄 요약

이 논문은 저질서수, 저조건수, 고차원 데이터에 대해 데이터 차원과 표본 수에 대해 로그 시간 복잡도를 달성하는 최소 제곱 지원 벡터 기반 기계 학습(Least Squares Support Vector Machine, LS-SVM)을 위한 양자 힌트 기반 고전 알고리즘을 제안한다. 간접 샘플링과 근사 행렬 분해를 활용함으로써, 양자 하드웨어가 필요 없이 원래의 양자 SVM 알고리즘의 지수적 속도 향상과 동일한 성능을 달성한다.

ABSTRACT

Support vector machine (SVM) is a particularly powerful and flexible supervised learning model that analyzes data for both classification and regression, whose usual algorithm complexity scales polynomially with the dimension of data space and the number of data points. To tackle the big data challenge, a quantum SVM algorithm was proposed, which is claimed to achieve exponential speedup for least squares SVM (LS-SVM). Here, inspired by the quantum SVM algorithm, we present a quantum-inspired classical algorithm for LS-SVM. In our approach, a improved fast sampling technique, namely indirect sampling, is proposed for sampling the kernel matrix and classifying. We first consider the LS-SVM with a linear kernel, and then discuss the generalization of our method to non-linear kernels. Theoretical analysis shows our algorithm can make classification with arbitrary success probability in logarithmic runtime of both the dimension of data space and the number of data points for low rank, low condition number and high dimensional data matrix, matching the runtime of the quantum SVM.

연구 동기 및 목표

• 양자 기계 학습과 고전 기계 학습 간 격차를 해소하기 위해 양자 SVM 알고리즘을 탈양자화한다.
• 양자 컴퓨팅을 사용하지 않고도 대규모 고차원 데이터셋에 대해 분류 작업에서 지수적 속도 향상을 달성한다.
• 실제 조건에서 양자 SVM의 이론적 성능을 재현하는 실용적인 고전적 대안을 개발한다.
• 양자 알고리즘의 엄격한 요구 조건을 줄이기 위해, 증명 가능 보장을 갖춘 고전적 샘플링 기반 접근법을 도입한다.
• 저질서수 및 저조건수 조건 하에서 데이터 차원과 표본 수에 대해 로그 시간 복잡도로 효율적인 LS-SVM 분류를 가능하게 한다.

제안 방법

• 핵심 행렬과 데이터 벡터에서 효율적으로 샘플링할 수 있는 간접 샘플링 기법을 제안하여 핵심 행렬의 빠른 근사화를 가능하게 한다.
• 색인과 노름에 기반한 데이터 벡터의 로그 시간 무작위 샘플링을 지원하기 위해 나무 모양의 데이터 구조를 활용한다.
• 데이터 포인트와 그 노름의 계층적 샘플링을 통해 더 작은 대표 데이터셋을 구성하여 계산 부담을 감소시킨다.
• 샘플된 핵심 행렬에 대해 근사 특이값 분해(SVD)를 적용하여 저질서 근사값을 추출한다.
• 근사 핵심 행렬을 사용하여 LS-SVM 최적화 문제를 해결함으로써 임의의 성공 확률로 분류를 보장한다.
• 행렬 농도 경계와 오차 분석을 활용하여 근사 오차가 사용자 정의 임계값 이내에 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 유사한 조건 하에서 고전 알고리즘이 LS-SVM에 대해 양자 SVM 알고리즘과 동일한 점근적 런타임을 달성할 수 있는가?
• RQ2 양자 자원 없이도 핵심 행렬의 효율적 근사화를 가능하게 하는 고전적 샘플링 전략은 무엇인가?
• RQ3 분류 정확도를 유지하면서 핵심 행렬 근사 오차는 어떻게 제한할 수 있는가?
• RQ4 실제로 데이터 차원과 표본 수에 대해 런타임을 로그적 의존성으로 줄일 수 있는 정도는 어느 정도인가?
• RQ5 저질서수 및 저조건수 구조를 갖는 실세계 데이터셋에서 탈양자화된 고전적 알고리즘이 양자 버전의 지수적 속도 향상과 동일한 성능을 달성할 수 있는가?

주요 결과

• 제안된 양자 힌트 기반 LS-SVM 알고리즘은 저질서수, 저조건수, 고차원 행렬에 대해 데이터 차원과 데이터 포인트 수에 대해 로그 시간 복잡도를 달성한다.
• 알고리즘은 임의의 성공 확률로 분류를 보장하며, 양자 SVM의 이론적 성능과 동일하다.
• 간접 샘플링 기법을 통해 오차가 제한된 상태에서 핵심 행렬의 효율적이고 정확한 근사화가 가능하다.
• 이론적 분석을 통해 근사 오차가 데이터 행렬의 스펙트럼 성질에 의해 제어되며, 조건수와 프로베니우스 노름에 비례함을 확인하였다.
• 양자 SVM 알고리즘의 점근적 복잡도 수준에서 지수적 속도 향상을 달성하였으며, 양자 하드웨어가 필요하지 않다.
• 인위적으로 구성한 저질서수 데이터셋을 활용한 실증 검증을 통해 이론적 가정 하에서 접근법의 실현 가능성과 확장 가능성을 확인하였다.