[論文レビュー] Quantum-Assisted Support Vector Regression

Archismita Dalal, Mohsen Bagherimehrab+1 more|arXiv (Cornell University)|Nov 17, 2021

Quantum Information and Cryptography被引用数 4

ひとこと要約

本論文では、D-Waveの量子古典ハイブリッドソルバーを用いて、小規模データセットにおける顔のランドマーク検出の精度を向上させる量子支援型サポートベクターレグレッション（SVR）モデルを提案する。SVRのトレーニング問題を二次無制約バイナリ最適化（QUBO）問題に定式化し、量子アンニューリングを用いて解くことで、古典的SVRおよび最先端のベースラインと比較してわずかに高い検出精度と顕著に低い分散を達成した。これは、教師あり学習における量子強化回帰のプロトタイプを示すものである。

ABSTRACT

A popular machine-learning model for regression tasks, including stock-market prediction, weather forecasting and real-estate pricing, is the classical support vector regression (SVR). However, a practically realisable quantum SVR remains to be formulated. We devise annealing-based algorithms, namely simulated and quantum-classical hybrid, for training two SVR models and compare their empirical performances against the SVR implementation of Python's scikit-learn package for facial-landmark detection (FLD), a particular use case for SVR. Our method is to derive a quadratic-unconstrained-binary formulation for the optimisation problem used for training a SVR model and solve this problem using annealing. Using D-Wave's hybrid solver, we construct a quantum-assisted SVR model, thereby demonstrating a slight advantage over classical models regarding FLD accuracy. Furthermore, we observe that annealing-based SVR models predict landmarks with lower variances compared to the SVR models trained by gradient-based methods. Our work is a proof-of-concept example for applying quantum-assisted SVR to a supervised-learning task with a small training dataset.

研究の動機と目的

• 限られたトレーニングデータを有する教師あり学習タスクに、量子アンニューリングを用いた量子支援型SVRモデルを開発すること。
• 顔のランドマーク検出において、古典的SVRおよび最先端のFLDアルゴリズムと比較して、量子アンニューリングベースのSVRの性能を評価すること。
• 回帰モデルにおいて、古典的グリーディ最適化と比較して、量子アンニューリングが予測分散を低減できるかどうかを調査すること。
• 現在の量子アンニューリングハードウェアに実装可能な、SVRトレーニング問題のQUBO定式化を提示すること。
• 小規模データセットを用いた実世界のコンピュータビジョンタスクにおける、量子支援型機械学習の実現可能性を調査すること。

提案手法

• SVRトレーニング問題を、量子アンニューリングによる解法が可能な二次無制約バイナリ最適化（QUBO）問題に再定式化する。
• 多出力顔ランドマーク検出タスクを、個別にトレーニングされたSVRモデルを用いた複数の単出力回帰問題に分解する。
• 古典的シミュレーテッドアンニューリングと、D-Waveの量子古典ハイブリッドアンニューリングソルバーの両方を用いてQUBO定式化を解く。
• アンニューリングにより生成された20個の妥当な解の予測値を平均化することで、最終的なランドマーク予測を取得し、分散を低減する。
• モデルは100枚の非制約顔画像からなる小規模データセットでトレーニングおよびテストされ、性能はLFPWおよびBioIDベンチマークデータセットで評価される。
• QUBO定式化は、ε-SVR最適化問題のラグランジュ双対問題から導出され、D-Waveのアンニューリングマシンで解けるイジングスピンガラス問題へのマッピングを可能にする。

Figure 1: Two slack variables $\xi^{+}$ and $\xi^{-}$ are used in an $\varepsilon$ -SVR formulation. Red circles are data points. (left) $\xi^{+}=0$ if the corresponding training data point is below the upper bound and $\xi^{+}>0$ if it is above the upper bound, (right) $\xi^{-}=0$ if the correspond

実験結果

リサーチクエスチョン

• RQ1 量子アンニューリングは、小規模データを用いた教師あり学習タスクにおけるサポートベクターレグレッションの精度を向上させることができるか？
• RQ2 量子支援型SVRは、古典的グリーディ最適化と比較して、回帰モデルの予測分散を低減するか？
• RQ3 顔のランドマーク検出において、量子アンニューリングベースのSVRモデルは、古典的SVRおよび最先端のFLDアルゴリズムと比較してどのように性能を発揮するか？
• RQ4 現在の量子古典ハイブリッドソルバーを用いて、SVRトレーニング問題のQUBO定式化を効果的に解くことができるか？
• RQ5 量子アンニューリングから得られる近似的最適解のアンサンブルを用いることで、モデルの一般化性能およびロバスト性にどのような影響を与えるか？

主な発見

• 量子支援型SVRモデルは、LFPWおよびBioIDデータセットにおいて、古典的SVRおよびBoRMaNベースラインと比較してわずかだが測定可能な精度の向上を達成した。
• アンニューリングベースのSVRモデルは、ラグランジアンのグローバル最適化による利点から、グリーディ最適化による古典的モデルと比較して、予測の分散が顕著に低かった。
• ハイブリッドアンニューリングアプローチにより、平均20個の妥当な解が生成され、これによりテスト予測における平均正規化偏差誤差（MNDE）の分散が低減した。
• D-Waveのハイブリッドソルバーを用いて、SVRトレーニング問題のQUBO定式化が成功裏に実装・解かれた。これは、現在の量子ハードウェア上で実現可能であることを裏付けた。
• 本手法は、限られたトレーニングデータでも、量子支援最適化が回帰性能を向上させられることを示し、教師ありタスクにおける量子機械学習のプロトタイプを提示した。
• 今後の改善策として、アンニューリングハイパーパrameterの最適化、画像セグメンテーションの細分化、およびより大きなデバイスを用いた完全な量子アンニューリングワークフローの検討が挙げられる。

Figure 2: An example image from the LFW database [ 37 ] . Using data from Ref. [ 56 ] , we show the five landmarks with manually determined positions, labels 1–5, and the face box as a red rectangle.