[논문 리뷰] Quantum algorithms for ridge regression

Chao‐Hua Yu, Fei Gao외 1명|arXiv (Cornell University)|2017. 07. 29.

Quantum Computing Algorithms and Architecture인용 수 6

한 줄 요약

이 논문은 병렬 해밀토니안 시뮬레이션을 사용하여 양자 K-폴드 교차검증을 수행하는 양자 알고리즘을 제안하며, 이는 최적의 정규화 하이퍼파rameter를 효율적으로 결정함으로써 릿지 회귀에 대해 지수적 속도 향상을 달성한다. 낮은 질량, 잘 조절된 설계 행렬에 대해 고전적 방법과 비교해 지수적 속도 향상을 달성하며, 빠른 예측을 위한 최적의 회귀 파라미터를 코딩하는 양자 상태를 준비한다.

ABSTRACT

Ridge regression (RR), also called regularized linear regression, is an important machine learning technique which introduces a regularization hyperparameter to ordinary multiple linear regression for analyzing data suffering from multicollinearity. Here we provide an efficient quantum algorithm for RR. Specifically, by giving the technique of parallel Hamiltonian simulation that can simulate a number of Hermitian matrices in parallel, we develop a quantum version of $K$-fold cross-validation approach that can efficiently estimate the predictive performance of RR. Our algorithm involves two phases: (1) we first use the quantum $K$-fold cross-validation to efficiently determine an approximately optimal regularization hyperparameter for RR with which RR can achieve very good predictive performance, and (2) then generate a quantum state encoding the optimal fitting parameters of RR with such hyperparameter, which can be further utilized to predict new data. Our algorithm can handle nonsparse data matrices, and is exponentially faster than the classical algorithm for (low-rank) design matrices with relatively small elements and low condition numbers.

연구 동기 및 목표

• 양자 계산을 사용하여 릿지 회귀의 최적의 정규화 하이퍼파rameter를 효율적으로 결정하는 양자 알고리즘을 개발하는 것.
• 하이퍼파rameter 선택 후 최적의 회귀 파라미터를 코딩하는 양자 상태를 준비하여 빠른 예측을 가능하게 하는 것.
• 희소하지 않은 데이터 행렬을 처리하여 양자 기계학습을 더 넓은 범위의 회귀 문제에까지 확장하는 것.
• 낮은 질량, 잘 조절된 설계 행렬에 대해 고전적 릿지 회귀 알고리즘보다 지수적 속도 향상을 달성하는 것.

제안 방법

• 알고리즘은 병렬 해밀토니안 시뮬레이션을 사용하여 다수의 에르미트 행렬을 동시에 시뮬레이션함으로써 효율적인 양자 K-폴드 교차검증을 가능하게 한다.
• 알고리즘은 릿지 회귀의 예측 성능을 교차검증 과정에서 다양한 폴드에 대해 추정하기 위해 양자 확률 추정을 사용한다.
• 교차검증 오차를 최소화하는 정규화 하이퍼파rameter를 선택함으로써 최적의 예측 성능을 보장한다.
• 하이퍼파rameter 선택 이후, 양자 선형 시스템 해법기를 사용하여 최적의 릿지 회귀 계수를 코딩하는 양자 상태를 준비한다.
• 희소하지 않은 데이터 행렬에서도 작동하도록 설계되어, 희소 또는 구조화된 데이터에 국한되지 않는 적용 범위를 넓힌다.
• 특히 조건 수와 행렬 원소가 작은 경우에 효과적인 행렬 역행렬 및 고유값 추정의 양자 속도 향상을 활용한다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 릿지 회귀의 최적 정규화 하이퍼파라미터 선택에서 지수적 속도 향상을 달성할 수 있는가?
• RQ2 병렬 해밀토니안 시뮬레이션을 사용하여 효율적인 양자 K-폴드 교차검증을 어떻게 구현할 수 있는가?
• RQ3 낮은 질량, 잘 조절된 행렬에 대해 제안된 양자 릿지 회귀 알고리즘이 고전적 방법보다 어떤 성능 향상을 보이는가?
• RQ4 희소하지 않은 데이터 행렬을 처리할 때도 효율성을 유지할 수 있는가?

주요 결과

• 낮은 질량의 설계 행렬과 작은 조건 수, 비교적 작은 행렬 원소를 가진 경우, 양자 알고리즘이 고전적 릿지 회귀보다 지수적 속도 향상을 달성한다.
• 병렬 해밀토니안 시뮬레이션의 사용은 효율적인 양자 K-폴드 교차검증을 가능하게 하여 최적 하이퍼파라미터 추정에 소요되는 시간을 크게 줄인다.
• 알고리즘은 최적의 릿지 회귀 계수를 코딩하는 양자 상태를 성공적으로 준비하며, 이는 빠른 양자 예측에 사용될 수 있다.
• 이 방법은 희소하지 않은 데이터 행렬에도 적용 가능하여, 희소 또는 구조화된 데이터에 국한되지 않는 양자 기계학습 기법을 확장한다.