[논문 리뷰] Quantum Sparse Support Vector Machines

Tomasz Arodź, Seyran Saeedi|arXiv (Cornell University)|2019. 02. 05.

Quantum Computing Algorithms and Architecture참고 문헌 59인용 수 7

한 줄 요약

이 논문은 계산 복잡도를 감소시켜 희소 선형 분류기를 훈련하는 데에 양자 선형 프로그래밍 솔버를 활용하는 양자 희소 서포트 벡터 머신(QSVM)을 제안한다. 최악의 경우 $Ω(m)$의 하한을 증명하지만, 희소 모델이 높은 정확도를 보이는 현실적인 상황에서는 하위선형 훈련 시간이 달성 가능하다고 보여준다.

ABSTRACT

We analyze the computational complexity of Quantum Sparse Support Vector Machine, a linear classifier that minimizes the hinge loss and the $L_1$ norm of the feature weights vector and relies on a quantum linear programming solver instead of a classical solver. Sparse SVM leads to sparse models that use only a small fraction of the input features in making decisions, and is especially useful when the total number of features, $p$, approaches or exceeds the number of training samples, $m$. We prove a $\Omega(m)$ worst-case lower bound for computational complexity of any quantum training algorithm relying on black-box access to training samples; quantum sparse SVM has at least linear worst-case complexity. However, we prove that there are realistic scenarios in which a sparse linear classifier is expected to have high accuracy, and can be trained in sublinear time in terms of both the number of training samples and the number of features.

연구 동기 및 목표

• 양자 선형 프로그래밍 솔버를 사용한 양자 희소 SVM의 계산 복잡도를 분석하는 것.
• 현실적인 설정에서 양자 알고리즘이 희소 SVM에 대해 하위선형 훈련 시간을 달성할 수 있는지 판단하는 것.
• 훈련 데이터에 블랙박스 액세스가 있는 상황에서 양자 훈련 복잡도에 대한 이론적 하한을 설정하는 것.
• 특히 $p \gtrsim m$일 때 희소 선형 분류에서 양자 우위의 가능성을 조사하는 것.

제안 방법

• 허프만 손실과 특징 가중치의 $L_1$ 노름을 최소화하기 위해 양자 선형 프로그래밍 솔버를 활용한다.
• 희소성 유도를 위해 $L_1$ 정규화를 사용하는 볼록 최적화 문제로 희소 SVM을 공식화한다.
• 훈련 샘플에 대한 블랙박스 액세스를 사용하여 복잡도를 분석하고, 데이터 액세스를 양자 오라클로 모델링한다.
• 어떤 양자 훈련 알고리즘에 대해서도 희소 SVM에 대해 최악의 경우 $Ω(m)$의 하한을 유도한다.
• 희소 모델이 정확도가 높은 현실적인 상황을 고려하여, 양자 가속이 발생할 수 있는 가능성을 분석한다.
• 고전적 및 양자 훈련 복잡도를 비교하기 위해 복잡도 이론 기법을 사용한다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 $m$과 $p$에 대해 모두 하위선형 시간 내에 희소 SVM을 훈련시킬 수 있는가?
• RQ2 블랙박스 액세스를 통한 훈련 샘플에 기반한 양자 훈련의 최악의 계산 복잡도는 무엇인가?
• RQ3 희소 SVM이 높은 정확도를 달성하면서도 양자 가속을 가능하게 하는 조건은 무엇인가?
• RQ4 특히 $p \gtrsim m$일 때, 희소 선형 분류에서 증명 가능한 양자 우위가 존재하는가?
• RQ5 $L_1$-정규화된 허프만 손실 공식화가 실질적으로 양자 최적화와 어떻게 상호작용하는가?

주요 결과

• 논문은 블랙박스 액세스를 통해 훈련 샘플에 의존하는 어떤 양자 훈련 알고리즘에 대해서도 최악의 경우 $Ω(m)$의 하한을 확립한다.
• 하한이 존재하더라도, 희소 선형 분류기가 높은 정확도를 달성하는 현실적인 상황이 존재한다.
• 이러한 유리한 상황에서는 양자 희소 SVM이 $m$과 $p$ 모두에 대해 하위선형 시간 내에 훈련될 수 있다.
• $L_1$-정규화는 모델의 희소성을 보장하여 $p \gtrsim m$일 때 효과적이다.
• 양자 선형 프로그래밍은 이러한 조건 하에서 효율적인 최적화를 가능하게 하며, 잠재적으로 양자 가속을 유도할 수 있다.
• 결과적으로, 특정한 현실적인 데이터 조건 하에서는 희소 분류에서의 양자 우위가 이론적으로 가능하다는 것이 제안된다.