[論文レビュー] Training a Binary Classifier with the Quantum Adiabatic Algorithm

Hartmut Neven, Vasil S. Denchev+2 more|ArXiv.org|Nov 4, 2008

Quantum Computing Algorithms and Architecture参考文献 10被引用数 71

ひとこと要約

本稿では、重み最適化問題をバイナリ二次計画問題として定式化することで、量子アディアバティックアルゴリズムを用いたバイナリ分類器のトレーニングを提案している。これにより、D-Waveの量子アニーリングハードウェアへのマッピングが可能となる。ビット制約付き学習（重みを対数的精度で表現）により一般化誤差が低下し、特に2次損失を用いた場合、AdaBoostを上回る性能を示しており、NP困難な分類問題における量子優位性の可能性を示唆している。

ABSTRACT

This paper describes how to make the problem of binary classification amenable to quantum computing. A formulation is employed in which the binary classifier is constructed as a thresholded linear superposition of a set of weak classifiers. The weights in the superposition are optimized in a learning process that strives to minimize the training error as well as the number of weak classifiers used. No efficient solution to this problem is known. To bring it into a format that allows the application of adiabatic quantum computing (AQC), we first show that the bit-precision with which the weights need to be represented only grows logarithmically with the ratio of the number of training examples to the number of weak classifiers. This allows to effectively formulate the training process as a binary optimization problem. Solving it with heuristic solvers such as tabu search, we find that the resulting classifier outperforms a widely used state-of-the-art method, AdaBoost, on a variety of benchmark problems. Moreover, we discovered the interesting fact that bit-constrained learning machines often exhibit lower generalization error rates. Changing the loss function that measures the training error from 0-1 loss to least squares maps the training to quadratic unconstrained binary optimization. This corresponds to the format required by D-Wave's implementation of AQC. Simulations with heuristic solvers again yield results better than those obtained with boosting approaches. Since the resulting quadratic binary program is NP-hard, additional gains can be expected from applying the actual quantum processor.

研究の動機と目的

• 最適化問題をバイナリ計画問題に再定式化することで、バイナリ分類のトレーニングをアディアバティック量子コンピューティングに適応すること。
• ビット制約付きの重み表現が機械学習モデルの一般化性能を向上させるかどうかを調査すること。
• 量子インスパイアドヒューリスティクスによるグローバル最適化と、AdaBoostのようなグリーディメソッドとの性能比較。
• 二次無制約バイナリ最適化（QUBO）にマッピングすることで、アディアバティック量子コンピューティングをNP困難な機械学習問題に応用可能にする。
• 低精度の重み表現が、量子機械学習におけるモデルのコンactさと一般化性能に与える影響を調査すること。

提案手法

• 分類器は、弱い分類器のしきい値付き線形結合としてモデル化され、正則化付き損失関数（0-1誤差または最小二乗誤差と0ノルム正則化の組み合わせ）を最小化するように重みが最適化される。
• 最適な重みに必要なビット精度は、トレーニング例の数と弱い分類器の数の比に従って対数的に増加するため、効果的なバイナリ表現が可能になる。
• 0-1損失の定式化はバイナリ最適化問題にマッピング可能であり、2次損失は直接QUBOに変換可能で、D-Waveの量子アニーリングハードウェアと互換性がある。
• タブー探索やシミュレーテッドアニーリングなどのヒューリスティックソルバーを用いて、得られたバイナリ計画問題を解き、量子最適化の性能をシミュレートする。
• D-Waveプロセッサのネイティブ入力形式に合わせるため、0-1損失を最小二乗損失に置き換えることで、問題をQUBOに再定式化する。
• 交差検証を用いて一般化性能を評価するため、合成データおよび実世界のデータ（顔画像からのガボールウェーブレット特徴量）を用いてフレームワークをテストする。

実験結果

リサーチクエスチョン

• RQ1 スパースで高精度なバイナリ分類器のトレーニング問題を、アディアバティック量子コンピューティングで解ける形式に効果的にマッピングできるか？
• RQ2 重みのビット精度を低くすることで一般化誤差が改善されるか。その理由は何か？
• RQ3 量子インスパイアドヒューリスティクスによるグローバル最適化と、AdaBoostのようなグリーディメソッドとの間で、精度とモデルのコンパクトさの観点から性能に差は生じるか？
• RQ4 0-1損失の代わりに2次損失を使用することで、ビット制約付き学習の性能がどの程度向上するか？
• RQ5 このNP困難な分類問題において、アディアバティック量子コンピューティングは、古典的ヒューリスティクスに対して実用的な優位性を示せるか？

主な発見

• 重みを対数的ビット精度で表現するビット制約付き学習マシンは、高精度な対応するモデルと比較して、一貫して低い一般化誤差を示す。
• 2次損失（QUBO）を用いたグローバル最適化アプローチは、AdaBoostを上回り、活性な弱い分類器の数が50%以上も少ない状態で、10%未満の精度低下で高い性能を達成した。
• ガボールウェーブレット顔データセットにおいて、QUBOベースの手法はテスト誤差を低減させるとともに、AdaBoostと比較して非ゼロ重みの数を50%以上も削減した。
• 0-1損失の定式化では、さまざまなビット深度において類似した性能を示したが、2次損失の定式化は特にグローバル最適化を組み合わせた場合に優れた結果をもたらした。
• 本研究では、ビット制約付きモデルが一般化性能とモデルのコンパクトさに寄与する内在的な正則化として機能することが明らかになった。
• 結果から、連続最適化ではなく整数計画問題としてバイナリ分類器をトレーニングするアプローチがより効果的である可能性が示唆され、NP困難問題に対する量子加速の動機付けが得られた。