[논문 리뷰] Quantum Speedup in Adaptive Boosting of Binary Classification

Ximing Wang, Yuechi Ma외 2명|arXiv (Cornell University)|2019. 02. 03.

Quantum Computing Algorithms and Architecture인용 수 5

한 줄 요약

이 논문은 양자 위상 추정과 확률 강화를 활용하여 이진 분류에서 적응형 부스팅(AdaBoost)의 질의 복잡도에서 제곱근 속도 향상을 달성하는 양자 알고리즘을 제안한다. 이 알고리즘은 약한 분류기의 확률적 출력으로 일반화된 AdaBoost를 구현하며, 약한 학습자가 확률적 예측을 내는 경우에도 양자 속도 향상이 가능함을 보여주며, 질의 복잡도는 고전적 경우의 O(N T) 대비 O(√N T²)로 스케일링된다. 여기서 N은 학습 샘플 수이고 T는 반복 횟수이다.

ABSTRACT

In classical machine learning, a set of weak classifiers can be adaptively combined to form a strong classifier for improving the overall performance, a technique called adaptive boosting (or AdaBoost). However, constructing the strong classifier for a large data set is typically resource consuming. Here we propose a quantum extension of AdaBoost, demonstrating a quantum algorithm that can output the optimal strong classifier with a quadratic speedup in the number of queries of the weak classifiers. Our results also include a generalization of the standard AdaBoost to the cases where the output of each classifier may be probabilistic even for the same input. We prove that the update rules and the query complexity of the non-deterministic classifiers are the same as those of deterministic classifiers, which may be of independent interest to the classical machine-learning community. Furthermore, the AdaBoost algorithm can also be applied to data encoded in the form of quantum states; we show how the training set can be simplified by using the tools of t-design. Our approach describes a model of quantum machine learning where quantum speedup is achieved in finding the optimal classifier, which can then be applied for classical machine-learning applications.

연구 동기 및 목표

• 이진 분류에서 고전적 AdaBoost의 질의 복잡도에서 제곱근 속도 향상을 달성하는 양자 알고리즘을 개발하는 것.
• 동일한 입력에 대해 확률적 출력을 내는 약한 분류기의 경우로 AdaBoost를 일반화하는 것.
• 확률적 분류기의 경우에도 업데이트 규칙과 질의 복잡도가 고전적 알고리즘의 구조를 유지함을 보여주는 것.
• 학습 데이터의 양자 상태 인코딩이 t-design을 통해 단순화되어 학습 복잡도를 감소시킬 수 있음을 보여주는 것.
• 고전적 응용에 최적의 분류기를 찾는 데서 양자 속도 향상이 달성되는 양자 기계학습의 프레임워크를 수립하는 것.

제안 방법

• 알고리즘은 약한 분류기의 오차율을 중첩 상태에서 추정하기 위해 확률 강화와 위상 추정을 사용하여 더 빠른 수렴을 가능하게 한다.
• 이것은 상태를 |cos((2k+1)θ_t)|φ_0⟩|0⟩ + |sin((2k+1)θ_t)|φ_1⟩|1⟩로 진화시키는 유니터리 연산 G_t U_⊥ G_t† Z를 구성함으로써 θ_t의 위상 추정을 가능하게 한다.
• 각 반복의 질의 복잡도는 ĉ/ε * t의 주머니이며, 여기서 ĉ는 정규화 인자이고 ε는 목표 정밀도이다.
• 알고리즘은 T회의 반복을 수행하며, 측정 후 재초기화가 필요하여 총 질의 복잡도는 O(ĉ/ε * T²)가 된다.
• t-design의 사용은 학습 데이터의 양자 상태 인코딩을 단순화하여 상태 준비의 오버헤드를 감소시킨다.
• 이 방법은 확률적 약한 분류기가 업데이트 규칙이나 질의 복잡도에 영향을 주지 않음을 보장하여 고전적 AdaBoost와 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 이진 분류에서 적응형 부스팅의 질의 복잡도에서 제곱근 속도 향상을 달성할 수 있는가?
• RQ2 약한 분류기가 확률적 출력을 내는 경우로 AdaBoost를 일반화할 때, 동일한 질의 복잡도와 업데이트 규칙이 유지되는가?
• RQ3 학습 데이터의 양자 상태 인코딩을 t-design을 사용하여 단순화하여 자원 오버헤드를 줄일 수 있는가?
• RQ4 양자 AdaBoost 알고리즘에서 오차율 추정의 정밀도와 필요한 질의 수 사이의 관계는 무엇인가?
• RQ5 대규모 데이터셋을 가진 실제 기계학습 문제에 적용했을 때 양자 AdaBoost 알고리즘이 확장 가능하고 효과적인가?

주요 결과

• 양자 AdaBoost 알고리즘은 질의 복잡도에서 제곱근 속도 향상을 달성하며, 고전적 AdaBoost의 O(N T) 대비 O(√N T²)로 스케일링된다. 여기서 N은 학습 샘플 수이고 T는 반복 횟수이다.
• 각 약한 분류기의 오차율을 추정하는 데 필요한 질의 복잡도는 O(ĉ/ε)이며, 여기서 ĉ = ∏_{t=1}^T max{1/(2˜R_t), 1/(2(1−˜R_t))}이고 ˜R_t는 반복 t에서의 오차율이다.
• 알고리즘은 확률적 약한 분류기의 경우에도 고전적 경우와 동일한 업데이트 규칙과 질의 복잡도를 유지하며, 이는 고전적 기계학습 분야에서 독립적인 관심사가 되는 결과이다.
• 위상 추정을 통해 |θ_t − ˆθ_t| ≤ δ를 만족하는 θ_t를 추정하며, δ = O(ε/ĉ)이므로 추정 오차율 ˜R_t의 오차는 ε 이내로 제한된다.
• 총 질의 복잡도는 O(ĉ/ε * T²)이며, ĉ가 크고 T가 작을 경우 고전적 O(ĉ²/ε² * T)에 비해 제곱근 속도 향상을 달성한다.
• t-design의 사용은 학습 데이터를 양자 상태로 효율적으로 인코딩할 수 있게 하여 상태 준비 과정을 단순화하고 오버헤드를 감소시킨다.