[논문 리뷰] Quantum Boosting

Srinivasan Arunachalam, Reevu Maity|arXiv (Cornell University)|2020. 02. 12.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 부울 개념 클래스 학습에 대해 고전적 AdaBoost 대비 제곱근 속도 향상을 달성하는 양자 부스팅 알고리즘을 소개한다. 양자 확률 강화와 위상 추정을 활용하여 시간 복잡도를 $\mathsf{VC}(\mathcal{C}) \cdot \operatorname{poly}(R(\mathcal{C}), 1/\gamma)$ 에서 $\sqrt{\mathsf{VC}(\mathcal{C})} \cdot \operatorname{poly}(Q(\mathcal{C}), 1/\gamma)$ 로 감소시킨다. 여기서 $Q(\mathcal{C})$ 는 약한 양자 학습기의 시간 복잡도이다.

ABSTRACT

Suppose we have a weak learning algorithm $\mathcal{A}$ for a Boolean-valued problem: $\mathcal{A}$ produces hypotheses whose bias $γ$ is small, only slightly better than random guessing (this could, for instance, be due to implementing $\mathcal{A}$ on a noisy device), can we boost the performance of $\mathcal{A}$ so that $\mathcal{A}$'s output is correct on $2/3$ of the inputs? Boosting is a technique that converts a weak and inaccurate machine learning algorithm into a strong accurate learning algorithm. The AdaBoost algorithm by Freund and Schapire (for which they were awarded the Gödel prize in 2003) is one of the widely used boosting algorithms, with many applications in theory and practice. Suppose we have a $γ$-weak learner for a Boolean concept class $C$ that takes time $R(C)$, then the time complexity of AdaBoost scales as $VC(C)\cdot poly(R(C), 1/γ)$, where $VC(C)$ is the $VC$-dimension of $C$. In this paper, we show how quantum techniques can improve the time complexity of classical AdaBoost. To this end, suppose we have a $γ$-weak quantum learner for a Boolean concept class $C$ that takes time $Q(C)$, we introduce a quantum boosting algorithm whose complexity scales as $\sqrt{VC(C)}\cdot poly(Q(C),1/γ);$ thereby achieving a quadratic quantum improvement over classical AdaBoost in terms of $VC(C)$.

연구 동기 및 목표

• 노이즈가 있는 중규모 양자(NISQ) 장치에서 구현된 약한 양자 기계 학습 알고리즘의 성능 향상에 도전한다.
• 작은 편향 $\gamma$ 를 가진 약한 양자 학습기를 강력한 학습기로 변환하는 양자 부스팅 프레임워크를 개발한다. 이 학습기는 입력에 대해 정확도 $2/3$ 를 달성한다.
• 특히 VC 차원 $\mathsf{VC}(\mathcal{C})$ 에 대한 의존성 측면에서 고전적 AdaBoost 대비 시간 복잡도에서 양자 속도 향상을 달성한다.
• 근래의 양자 장치에 대한 현실적인 가정 하에 알고리즘이 효율적이고 실용적으로 유지될 수 있도록 보장한다.

제안 방법

• 시간 복잡도 $Q(\mathcal{C})$ 를 가진 양자 약한 학습기 $\mathcal{A}$ 를 사용한다. 이는 랜덤보다 약간 우수한 편향 $\gamma$ 를 가진 가설을 출력한다.
• 확률 강화를 적용하여 양자 상태에서 정확한 예측의 확률을 증폭함으로써 약한 학습기의 효과적 정확도를 향상시킨다.
• 각 가설 $h_t$ 의 가중 오차 $\widetilde{\varepsilon}_t$ 를 고정밀도로 추정하기 위해 위상 추정을 사용한다.
• 오차 추정에 기반하여 양자 제어 회전을 사용해 훈련 예제에 대한 분포를 동적으로 업데이트한다. 이는 고전적 AdaBoost와 유사하지만, 중첩 상태에서 수행된다.
• 오차 추정치 $\varepsilon'_t$ 가 임계값 이하인지 여부를 판단하기 위한 서브루틴을 통합한다. 이는 양자 검색과 확률 강화를 사용한다.
• 가장 끝으로, $T = O(\log M / \gamma^2)$ 개의 가설을 학습된 가중치 $\alpha'_t$ 를 사용해 가중 다수결 투표 방식으로 조합하여 최종 강력한 가설 $H(x) = \mathrm{sign}(\sum_t \alpha'_t h_t(x))$ 을 구성한다.

실험 결과

연구 질문

• RQ1 작은 편향 $\gamma$ 를 가진 약한 양자 학습기의 성능을 강력한 학습 정확도로 향상시키기 위해 양자 기법을 사용할 수 있는가?
• RQ2 VC 차원 $\mathsf{VC}(\mathcal{C})$ 에 대한 의존성 측면에서 양자 부스팅 알고리즘이 고전적 AdaBoost 대비 증명 가능한 속도 향상을 달성하는가?
• RQ3 양자 확률 강화와 위상 추정을 부스팅 프레임워크에 효과적으로 통합하여 시간 복잡도를 감소시킬 수 있는가?
• RQ4 노이즈에 강건하고, 제한된 큐비트 혼합 시간과 게이트 정밀도를 가진 근래의 양자 장치에서 실현 가능한가?
• RQ5 양자 부스팅 설정에서 반복 횟수 $T$, 오차 추정 정밀도, 전체 쿼리 복잡도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 양자 부스팅 알고리즘은 시간 복잡도 $\sqrt{\mathsf{VC}(\mathcal{C})} \cdot \operatorname{poly}(Q(\mathcal{C}), 1/\gamma)$ 를 달성하여 고전적 AdaBoost의 $\mathsf{VC}(\mathcal{C}) \cdot \operatorname{poly}(R(\mathcal{C}), 1/\gamma)$ 의 의존성 대비 제곱근 개선을 이룬다.
• 알고리즘은 각 약한 가설의 오차를 고정밀도로 추정하기 위해 확률 강화와 위상 추정을 사용하여 필요한 쿼리 수를 감소시킨다.
• 양자 학습기와 오라클에 대한 총 쿼리 수는 $O(\sqrt{M} Q^{3/2} T^3)$ 이하로 제한되며, 여기서 $M$ 은 훈련 샘플 수이고 $T = O(\log M / \gamma^2)$ 이다.
• 알고리즘은 추정된 오차와 가설에 대한 신뢰도에 기반해, 예측 오차 기반으로 양자 제어 회전을 사용해 훈련 예제에 대한 분포를 유지한다.
• 서브루틴의 '아니오' 경우에서 알고리즘은 $\widetilde{\varepsilon} < 1/(Q T^2)$ 를 보장하여 부스팅 과정을 멈추거나 조정할 때 올바르게 식별할 수 있도록 한다.
• 최종 가설 $H(x)$ 는 학습된 가중치 $\alpha'_t$ 를 가진 $T$ 개의 약한 가설의 부호화된 합으로 구성되며, 고확률로 최소 $2/3$ 의 입력에 대해 정확한 예측을 한다.