[논문 리뷰] Quantum-Assisted Support Vector Regression

Archismita Dalal, Mohsen Bagherimehrab외 1명|arXiv (Cornell University)|2021. 11. 17.

Quantum Information and Cryptography인용 수 4

한 줄 요약

이 논문은 D-Wave의 양자-고전 하이브리드 솔버를 사용하여 소규모 데이터셋에서 얼굴 랜드마크 검출 정확도를 향상시키기 위해 양자 보조 지원 벡터 회귀(SVR) 모델을 제안한다. SVR 학습 문제를 이차 무제약 이진 최적화(QUBO) 문제로 재구성하고, 이를 양자 앤날링을 통해 해결함으로써, 전통적인 SVR 및 최신 기준 모델 대비 略적으로 높은 정확도와 상당히 낮은 분산을 달성한다. 이는 제한된 학습 데이터를 가진 지도 학습 과제에서 양자 강화 회귀의 개념적 실현 가능성을 보여준다.

ABSTRACT

A popular machine-learning model for regression tasks, including stock-market prediction, weather forecasting and real-estate pricing, is the classical support vector regression (SVR). However, a practically realisable quantum SVR remains to be formulated. We devise annealing-based algorithms, namely simulated and quantum-classical hybrid, for training two SVR models and compare their empirical performances against the SVR implementation of Python's scikit-learn package for facial-landmark detection (FLD), a particular use case for SVR. Our method is to derive a quadratic-unconstrained-binary formulation for the optimisation problem used for training a SVR model and solve this problem using annealing. Using D-Wave's hybrid solver, we construct a quantum-assisted SVR model, thereby demonstrating a slight advantage over classical models regarding FLD accuracy. Furthermore, we observe that annealing-based SVR models predict landmarks with lower variances compared to the SVR models trained by gradient-based methods. Our work is a proof-of-concept example for applying quantum-assisted SVR to a supervised-learning task with a small training dataset.

연구 동기 및 목표

• 제한된 학습 데이터를 가진 지도 학습 과제에 대해 양자 앤날링을 활용한 양자 보조 SVR 모델을 개발한다.
• 얼굴 랜드마크 검출 과제에서 양자 앤날링 기반 SVR의 성능을 전통적 SVR 및 최신 기준 FLD 알고리즘과 비교 평가한다.
• 양자 앤날링이 기존의 탐욕적 최적화 방식보다 예측 분산을 낮출 수 있는지 조사한다.
• 현재의 양자 앤날링 하드웨어에서 구현 가능한 SVR 학습 문제의 QUBO 공식화를 제시한다.
• 소규모 데이터셋을 가진 실세계 컴퓨터 비전 과제에서 양자 보조 기계 학습의 가능성을 탐색한다.

제안 방법

• SVR 학습 문제를 양자 앤날링을 통해 해결할 수 있도록 이차 무제약 이진 최적화(QUBO) 문제로 재구성한다.
• 다중 출력 얼굴 랜드마크 검출 과제를 각각 별도의 SVR 모델로 학습하는 단일 출력 회귀 문제로 분해한다.
• 기존의 시뮬레이션 앤날링과 D-Wave의 양자-고전 하이브리드 앤날링 솔버를 모두 사용하여 QUBO 공식화를 해결한다.
• 예측 분산을 줄이기 위해 앤날링을 통해 생성된 20개의 타당한 해의 예측 평균을 최종 랜드마크 예측으로 취한다.
• 모델은 100장의 자유로운 얼굴 이미지로 구성된 소규모 데이터셋에서 학습 및 테스트되며, 성능 평가는 LFPW 및 BioID 기준 데이터셋에서 수행된다.
• QUBO 공식화는 ε-SVR 최적화 문제의 라그랑주 이중 문제에서 유도되며, D-Wave의 앤날러가 해결할 수 있는 이징 스핀 거품 문제로 매핑 가능하다.

Figure 1: Two slack variables $\xi^{+}$ and $\xi^{-}$ are used in an $\varepsilon$ -SVR formulation. Red circles are data points. (left) $\xi^{+}=0$ if the corresponding training data point is below the upper bound and $\xi^{+}>0$ if it is above the upper bound, (right) $\xi^{-}=0$ if the correspond

실험 결과

연구 질문

• RQ1 양자 앤날링은 소규모 데이터 지도 학습 과제에서 지원 벡터 회귀의 정확도를 향상시킬 수 있는가?
• RQ2 양자 보조 SVR은 기존의 탐욕적 최적화 방식 대비 예측 분산을 줄일 수 있는가?
• RQ3 양자 앤날링 기반 SVR 모델의 성능은 전통적 SVR 및 최신 기준 FLD 알고리즘과 비교해 어떻게 되는가?
• RQ4 현재의 양자-고전 하이브리드 솔버를 사용해 SVR 학습 문제의 QUBO 공식화를 효과적으로 해결할 수 있는가?
• RQ5 양자 앤날링에서 유사 최적 해의 앙상블을 사용할 경우 모델의 일반화 능력과 견고성에 어떤 영향을 미치는가?

주요 결과

• 양자 보조 SVR 모델은 LFPW 및 BioID 데이터셋에서 전통적 SVR 및 BoRMaN 기준 모델 대비 약간이지만 측정 가능한 정확도 향상을 달성했다.
• 앤날링 기반 SVR 모델은 라그랑주 함수의 전역 최적화 덕분에 탐욕적 최적화를 사용한 전통적 모델 대비 예측 분산이 상당히 낮았다.
• 하이브리드 앤날링 접근법은 평균적으로 20개의 타당한 해를 생성하였으며, 이는 테스트 예측에서 평균 정규화 오차 분산(MNDE)을 감소시키는 데 기여했다.
• D-Wave의 하이브리드 솔버를 사용하여 SVR 학습 문제의 QUBO 공식화를 성공적으로 구현하고 해결함으로써, 현재의 양자 하드웨어에서의 실현 가능성을 입증했다.
• 이 방법은 제한된 학습 데이터 조건에서도 양자 보조 최적화가 회귀 성능을 향상시킬 수 있음을 보여주며, 지도 학습 과제에서 양자 기계 학습의 개념적 실현 가능성을 제시했다.
• 향후 향상 방안으로는 앤날링 하이퍼파rameter 최적화, 이미지 세그멘테이션의 해상도 증가, 더 큰 장치에서 완전한 양자 앤날링 워크플로우 탐색이 가능할 것이다.

Figure 2: An example image from the LFW database [ 37 ] . Using data from Ref. [ 56 ] , we show the five landmarks with manually determined positions, labels 1–5, and the face box as a red rectangle.