[논문 리뷰] Quantum algorithm for logistic regression

Hailing Liu, Chao‐Hua Yu외 5명|arXiv (Cornell University)|2019. 06. 10.

Quantum Computing Algorithms and Architecture참고 문헌 36인용 수 6

한 줄 요약

이 논문은 경사 하강법의 각 반복 과정에서 기울기 계산에 대해 지수적 속도 향상을 달성하는 로지스틱 회귀를 위한 양자 알고리즘을 제안한다. 양자 확률 추정과 양자 상태 준비를 활용하여, 데이터 포인트 수 N에 대해 데이터 차원 M이 다항로그적으로 증가할 경우, 고전적 기울기를 효율적으로 계산할 수 있으며, 이는 대규모 데이터 분류 작업의 모델 훈련을 더 빠르게 할 수 있게 한다.

ABSTRACT

Logistic regression (LR) is an important machine learning model for classification, with wide applications in text classification, image analysis and medicine diagnosis, etc. However, training LR generally entails an iterative gradient descent method, and is quite time consuming when processing big data sets. To solve this problem, we present a quantum algorithm for LR to implement the key task of the gradient descent method, obtaining the classical gradients in each iteration. It is shown that our algorithm achieves exponential speedup over its classical counterpart in each iteration when the dimension of each data point M grows polylogarithmically with the number of data points N, i.e.,M=O(polylog N). It is worth noting that the optimal model parameters are finally derived by performing simple calculations on the obtained gradients. So once the optimal model parameters are determined, one can use them to classify new data at little cost.

연구 동기 및 목표

• 대규모 데이터셋에서 고전적 로지스틱 회귀의 계산 병목 현상을 해결하기 위해 기울기 계산 단계를 가속화하는 것.
• 경사 하강법 과정의 각 반복에서 기울기를 효율적으로 계산하는 양자 알고리즘을 설계하는 것, 이는 로지스틱 회귀 훈련의 핵심 구성 요소이다.
• 데이터 차원 M이 데이터 포인트 수 N에 대해 다항로그적으로 증가할 조건 하에서 고전적 방법에 비해 지수적 속도 향상을 달성하는 것.
• 양자 기법을 사용하여 기울기 계산의 시간 복잡도를 감소시켜 로지스틱 회귀 모델의 훈련 시간을 단축시키는 것.

제안 방법

• 알고리즘은 고전적 데이터 포인트를 양자 상태로 인코딩하기 위해 양자 상태 준비를 사용하여 고차원 벡터의 효율적 조작을 가능하게 한다.
• 내적을 추정하기 위해 양자 확률 추정을 적용하여, 데이터 포인트와 현재 모델 파라미터 간의 내적을 계산하며, 이는 기울기 계산에 필수적이다.
• 기울기 벡터를 중첩 상태로 계산하기 위해 양자 선형 대수 기법을 활용하여, 각 반복에 소요되는 시간을 크게 감소시킨다.
• 알고리즘은 데이터 차원 M이 O(polylog N)임을 가정하며, 이는 큰 N에 대해 실질적인 양자 속도 향상을 가능하게 한다.
• 기울기를 인코딩한 양자 상태를 확보한 후, 측정 기반 추정을 수행하여 고전적 업데이트 단계에 필요한 고전적 기울기 값을 추출한다.
• 최종 모델 파라미터는 양자로 추정한 기울기의 고전적 후처리를 통해 도출되며, 표준 로지스틱 회귀 추론과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 로지스틱 회귀 훈련의 기울기 계산에서 지수적 속도 향상을 달성할 수 있는가?
• RQ2 데이터 차원 M이 데이터 포인트 수 N에 대해 어떤 조건에서 양자 알고리즘이 고전적 방법을 능가하는가?
• RQ3 양자 기법은 로지스틱 회귀의 반복적 경사 하강법 과정에 어떻게 효과적으로 적용될 수 있는가?
• RQ4 양자 확률 추정은 고전적 기울기 계산을 가속화하는 데 어떤 역할을 하는가?

주요 결과

• 데이터 차원 M이 데이터 포인트 수 N에 대해 다항로그적으로 증가할 경우, 고전적 방법에 비해 양자 알고리즘이 기울기 계산에서 지수적 속도 향상을 달성한다.
• 속도 향상은 경사 하강법의 각 반복에서 실현되며, 대규모 데이터셋의 훈련 시간을 크게 감소시킨다.
• 양자 확률 추정과 상태 준비를 사용하여 알고리즘이 기울기 벡터를 효율적으로 계산하여 이론적으로 더 빠른 수렴을 가능하게 한다.
• 최종 모델 파라미터는 양자로 추정한 기울기의 고전적 후처리를 통해 도출되며, 표준 분류 파ipeline과의 호환성을 보장한다.
• 특히 M = O(polylog N)일 경우에 매우 효과적이며, 고차원 특징을 가진 대규모 데이터 응용에 적합하다.