[論文レビュー] Improved Quantum Boosting

Adam Izdebski, Ronald de Wolf|UvA-DARE (University of Amsterdam)|Sep 17, 2020

Machine Learning and Algorithms参考文献 23被引用数 4

ひとこと要約

この論文は、ServedioのSmoothBoostに基づく新しい量子ブースティングアルゴリズム、QuantumSmoothBoostを提示する。これは古典的および先行の量子ブースティング手法と比較して顕著な高速化を達成する。量子近似カウントと効率的な状態準備を活用することで、弱学習器の利得 $\gamma$ に依存する部分を $1/\gamma^{11}$ から $1/\gamma^5$ に削減し、VC次元 $d$ に対して $\tilde{O}(\sqrt{d})$ のスケーリングを維持する。これにより、主要パラメータにおいて多項式の量子優位性を実現する。

ABSTRACT

Boosting is a general method to convert a weak learner (which generates hypotheses that are just slightly better than random) into a strong learner (which generates hypotheses that are much better than random). Recently, Arunachalam and Maity gave the first quantum improvement for boosting, by combining Freund and Schapire's AdaBoost algorithm with a quantum algorithm for approximate counting. Their booster is faster than classical boosting as a function of the VC-dimension of the weak learner's hypothesis class, but worse as a function of the quality of the weak learner. In this paper we give a substantially faster and simpler quantum boosting algorithm, based on Servedio's SmoothBoost algorithm.

研究の動機と目的

• ArunachalamとMaity（2020年）の量子ブースティングアプローチを改善する、より高速で単純な量子ブースティングアルゴリズムの開発。
• 量子ブースティングの高速化が制限されていた弱学習器の利得 $\gamma$ に依存する部分の低減。
• $\gamma$ およびVC次元 $d$ の両方において多項式の量子高速化を達成するとともに、ラベルノイズに対して頑健性を維持すること。
• 弱学習器のVC次元が高く、$\gamma$ が中程度であるような状況において、量子ブースティングが最も効果を発揮する可能性がある分野での実現可能性の探求。

提案手法

• アルゴリズムは、ラベルノイズに対してより頑健で、AdaBoostよりも量子高速化に適しているため、ServedioのSmoothBoostを古典的基盤として採用する。
• 各反復で合計誤分類重みを推定するために、量子近似カウント（アームネス推定を介して）を適用し、古典的カウントを量子アームネス推定に置き換える。
• 量子状態準備を用いて、例に対する分布 $D^t$ を効率的に準備することで、各反復における分布更新コストを $O(m)$ から $\tilde{O}(T/\sqrt{\varepsilon})$ に削減する。
• アルゴリズムは弱仮説の重み付き組み合わせを維持し、推定誤差から得られる係数 $\alpha_t$ を用いる。また、弱学習器の出力への量子アクセスを用いて、誤分類重み $M_i^t$ を計算する。
• 反復回数は $T = \tilde{O}(1/\varepsilon\gamma^2)$ に保ち、これは古典的SmoothBoostと同一であるが、各反復が量子サブルーチンによって加速される。
• 全体の複雑さは、量子サブルーチンを組み合わせることで導出され、$\tilde{O}(T(W/\sqrt{\varepsilon} + \sqrt{m}))$ となり、最終的な実行時間は $\tilde{O}(W/\varepsilon^{2.5}\gamma^4 + \sqrt{d}/\varepsilon^{3.5}\gamma^5)$ となる。

実験結果

リサーチクエスチョン

• RQ1 先行の量子ブースティング手法と比較して、弱学習器の利得 $\gamma$ に依存する部分を改善した量子ブースティングアルゴリズムを設計することは可能か？
• RQ2 ラベルノイズに対して頑健性を維持しつつ、VC次元 $d$ に対して有利にスケーリングする量子高速化をブースティングで達成することは可能か？
• RQ3 異なる量子形式のSmoothBoost、または他のブースティングバリアントを用いることで、量子ブースティングの反復回数を削減できるか？
• RQ4 量子版SmoothBoostは、古典的SmoothBoostが持つノイズ耐性、特に悪意あるラベルノイズに対する耐性を保持しているか？
• RQ5 量子ブースティングは、アガンスティック学習やMassartやTsybakovノイズなどの構造的ノイズモデルに拡張可能か？

主な発見

• QuantumSmoothBoostは、ArunachalamとMaityによる量子AdaBoostバリアントの $\tilde{O}(W^{1.5}\sqrt{d}/\gamma^{11})$ 複雑さと比較して、$\tilde{O}(W/\varepsilon^{2.5}\gamma^4 + \sqrt{d}/\varepsilon^{3.5}\gamma^5)$ の実行時間で実現する。これは、多項式的改善である。
• アルゴリズムは $\gamma$ に依存する部分を $1/\gamma^{11}$ から $1/\gamma^5$ に改善し、弱学習器の利得が小さくても非可視的である場合に顕著な性能向上を実現する。
• VC次元 $d$ への依存は $\tilde{O}(\sqrt{d})$ にスケーリングされ、これは古典的SmoothBoostと一致し、このパラメータにおいて量子優位性を提供する。
• $\varepsilon = \delta = 1/3$ の場合、複雑さは $\tilde{O}(W/\gamma^4 + \sqrt{d}/\gamma^5)$ に簡略化され、先行の量子ブースティング手法よりも顕著に高速である。
• この手法は、古典的SmoothBoostが持つ悪意あるラベルノイズに対する頑健性を維持しており、誤分類例に対する分布更新が弱く抑えられるためである。
• アルゴリズムは、誤分類重みを乗法誤差1.1で推定する量子アームネス推定を用いることで、各反復における効率的かつ正確な分布更新を可能にする。