[논문 리뷰] Improved Quantum Boosting

Adam Izdebski, Ronald de Wolf|UvA-DARE (University of Amsterdam)|2020. 09. 17.

Machine Learning and Algorithms참고 문헌 23인용 수 4

한 줄 요약

이 논문은 Servedio의 SmoothBoost를 기반으로 한 새로운 양자 부스팅 알고리즘인 QuantumSmoothBoost를 제안한다. 이 알고리즘은 고전적 및 이전의 양자 부스팅 방법들보다 상당한 속도 향상을 달성한다. 양자 근사 수세기와 효율적인 상태 준비를 활용하여, 약한 학습기의 이점 $\gamma$에 대한 의존도를 $1/\gamma^{11}$에서 $1/\gamma^5$로 감소시키면서도 VC-차원 $d$에 대해 $\tilde{O}(\sqrt{d})$ 스케일링을 유지하여 핵심 파라미터에서 다항식 양자 우수성을 제공한다.

ABSTRACT

Boosting is a general method to convert a weak learner (which generates hypotheses that are just slightly better than random) into a strong learner (which generates hypotheses that are much better than random). Recently, Arunachalam and Maity gave the first quantum improvement for boosting, by combining Freund and Schapire's AdaBoost algorithm with a quantum algorithm for approximate counting. Their booster is faster than classical boosting as a function of the VC-dimension of the weak learner's hypothesis class, but worse as a function of the quality of the weak learner. In this paper we give a substantially faster and simpler quantum boosting algorithm, based on Servedio's SmoothBoost algorithm.

연구 동기 및 목표

• Arunachalam과 Maity(2020)의 양자 부스팅 접근법을 개선하는 더 빠르고 단순한 양자 부스팅 알고리즘을 개발하는 것.
• 이전에 양자 속도 향상이 제한되었던 약한 학습기의 이점 $\gamma$에 대한 의존도를 줄이는 것.
• $\gamma$와 VC-차원 $d$ 양쪽 모두에서 다항식 양자 속도 향상을 달성하면서도 레이블 노이즈에 대한 강건성을 유지하는 것.
• 약한 학습기가 높은 VC-차원과 중간 정도의 $\gamma$를 가지는 설정에서, 양자 속도 향상이 가장 영향을 미칠 수 있는 가능성을 탐색하는 것.

제안 방법

• 알고리즘은 Servedio의 SmoothBoost를 고전적 기초로 사용하며, 이는 AdaBoost보다 레이블 노이즈에 더 강건하고 양자 속도 향상에 더 적합하다.
• 각 반복에서의 총 오분류 가중치를 추정하기 위해 양자 근사 수세기(암함수 추정을 통한)를 적용하여 고전적 수세기 대신 양자 암함수 추정을 사용한다.
• 양자 상태 준비를 통해 예제에 대한 분포 $D^t$를 효율적으로 준비함으로써, 분포 갱신 비용을 $O(m)$에서 $\tilde{O}(T/\sqrt{\varepsilon})$로 감소시킨다.
• 알고리즘은 약한 가설의 가중 조합을 유지하며, 추정된 오류에서 유도된 계수 $\alpha_t$를 사용하고, 약한 학습기의 출력에 대한 양자 액세스를 통해 오분류 가중치 $M_i^t$를 계산한다.
• 반복 횟수는 $T = \tilde{O}(1/\varepsilon\gamma^2)$로 유지되며, 이는 고전적 SmoothBoost와 동일하지만 각 반복이 양자 서브루틴을 통해 가속된다.
• 전체 복잡도는 양자 서브루틴을 조합하여 유도되며, $\tilde{O}(T(W/\sqrt{\varepsilon} + \sqrt{m}))$로 표현되며, 최종 런타임은 $\tilde{O}(W/\varepsilon^{2.5}\gamma^4 + \sqrt{d}/\varepsilon^{3.5}\gamma^5)$가 된다.

실험 결과

연구 질문

• RQ1 이전의 양자 부스팅 방법에 비해 약한 학습기의 이점 $\gamma$에 대한 의존도를 향상시킬 수 있는 양자 부스팅 알고리즘을 설계할 수 있는가?
• RQ2 레이블 노이즈에 대한 강건성을 유지하면서 VC-차원 $d$에 대해 유리한 스케일링을 가지는 양자 부스팅 속도 향상을 달성할 수 있는가?
• RQ3 다른 양자 형태의 SmoothBoost 또는 다른 부스팅 변종을 사용함으로써 양자 부스팅의 반복 횟수를 줄일 수 있는가?
• RQ4 양자 버전의 SmoothBoost는 악성 레이블 노이즈에 대해 고전적 SmoothBoost의 노이즈 강건성 특성을 유지하는가?
• RQ5 양자 부스팅은 아그노스틱 학습이나 Massart 또는 Tsybakov 노이즈 모델과 같은 구조화된 노이즈 모델로 확장될 수 있는가?

주요 결과

• QuantumSmoothBoost는 $\tilde{O}(W/\varepsilon^{2.5}\gamma^4 + \sqrt{d}/\varepsilon^{3.5}\gamma^5)$의 런타임을 달성하여, Arunachalam과 Maity의 양자 AdaBoost 변종의 $\tilde{O}(W^{1.5}\sqrt{d}/\gamma^{11})$ 복잡도에 비해 다항식적 개선을 이룬다.
• 알고리즘은 $\gamma$에 대한 의존도를 $1/\gamma^{11}$에서 $1/\gamma^5$로 개선하여, 작은 비율이지만 무시할 수 없는 이점을 가진 약한 학습기의 성능을 크게 향상시킨다.
• VC-차원 $d$에 대한 의존도는 $\tilde{O}(\sqrt{d})$로 스케일링되며, 이는 고전적 SmoothBoost와 일치하며 이 파라미터에서 양자 우수성을 제공한다.
• $\varepsilon = \delta = 1/3$인 경우, 복잡도는 $\tilde{O}(W/\gamma^4 + \sqrt{d}/\gamma^5)$로 감소하며, 이는 이전의 양자 부스팅 방법보다 상당히 빠른 성능을 제공한다.
• 알고리즘은 악성 레이블 노이즈에 대해 고전적 SmoothBoost의 강건성을 유지한다. 왜냐하면 분포 갱신이 잘못된 레이블 예제에 대해 약하게 처벌하기 때문이다.
• 알고리즘은 오분류 가중치를 다중 오차 1.1 이내로 추정하기 위해 양자 암함수 추정을 사용하여 각 반복에서 효율적이고 정확한 분포 갱신을 가능하게 한다.