[論文レビュー] Quantum-Inspired Support Vector Machine

Chen Ding, Tian-Yi Bao+1 more|arXiv (Cornell University)|Jun 21, 2019

Quantum Computing Algorithms and Architecture参考文献 33被引用数 18

ひとこと要約

この論文は、低ランクで条件数が低く、高次元なデータに対して、データ次元およびサンプル数に関して対数的ランタイムを達成する、量子にインspiredされた古典的アルゴリズムを提示する。間接的サンプリングと近似行列分解を活用することで、量子ハードウェアを必要とせずに、元の量子SVMアルゴリズムの指数的高速化を再現する。

ABSTRACT

Support vector machine (SVM) is a particularly powerful and flexible supervised learning model that analyzes data for both classification and regression, whose usual algorithm complexity scales polynomially with the dimension of data space and the number of data points. To tackle the big data challenge, a quantum SVM algorithm was proposed, which is claimed to achieve exponential speedup for least squares SVM (LS-SVM). Here, inspired by the quantum SVM algorithm, we present a quantum-inspired classical algorithm for LS-SVM. In our approach, a improved fast sampling technique, namely indirect sampling, is proposed for sampling the kernel matrix and classifying. We first consider the LS-SVM with a linear kernel, and then discuss the generalization of our method to non-linear kernels. Theoretical analysis shows our algorithm can make classification with arbitrary success probability in logarithmic runtime of both the dimension of data space and the number of data points for low rank, low condition number and high dimensional data matrix, matching the runtime of the quantum SVM.

研究の動機と目的

• 量子SVMアルゴリズムのデキューテライズによって、古典的および量子機械学習のギャップを埋めること。
• 量子計算を一切用いずに、大規模かつ高次元なデータセットにおける分類の指数的高速化を達成すること。
• 現実的な条件下で量子SVMの理論的性能を再現する実用的な古典的代替手法を開発すること。
• 量子アルゴリズムの厳しい要件を緩和するために、証明可能かつ保証のある古典的サンプリングベースのアプローチを導入すること。
• 低ランクおよび低条件数の仮定の下で、データ次元およびサンプル数に対して、分類が対数的時間で効率的に行えるLS-SVM分類を可能にすること。

提案手法

• 核行列およびデータベクトルからの効率的なサンプリングを可能にする間接的サンプリング技術を提案し、核行列の高速近似を実現する。
• インデックスおよびノルムによるデータベクトルの対数的時間ランダムサンプリングをサポートする、木構造のデータ構造を採用する。
• データポイントおよびそのノルムのストラティファイドサンプリングにより、より小さい代表的データセットを構築し、計算負荷を低減する。
• サンプルされた核行列に対して近似特異値分解（SVD）を適用し、低ランク近似を抽出する。
• 近似核行列を用いてLS-SVM最適化問題を解き、任意の成功確率で分類を保証する。
• 行列濃度の境界と誤差解析を用いて、近似誤差がユーザーが定義したしきい値内に保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 類似した条件下で、古典的アルゴリズムが量子SVMアルゴリズムと同等の漸近的ランタイムを達成できるか？
• RQ2 量子リソースを一切用いずに、核行列の効率的近似を可能にする古典的サンプリング戦略は何か？
• RQ3 核行列近似の誤差を、分類精度を維持したままどのように制御できるか？
• RQ4 実際の応用において、データ次元およびサンプル数に対してランタイムを対数的依存にまで低減できる範囲はどの程度か？
• RQ5 低ランクかつ低条件数構造を有する実世界のデータセットにおいて、デキューテライズされた古典的アルゴリズムが、量子バージョンの指数的高速化を再現できるか？

主な発見

• 提示された量子にインスパイアされたLS-SVMアルゴリズムは、低ランク・低条件数・高次元行列に対して、データ次元およびデータポイント数の両方に関して、対数的ランタイムを達成する。
• アルゴリズムは任意の成功確率で分類を保証し、量子SVMの理論的性能と一致する。
• 間接的サンプリング技術により、誤差が有界な状態で核行列の効率的かつ正確な近似が可能になる。
• 理論的解析により、近似誤差がデータ行列のスペクトル特性によって制御され、条件数およびフロベニウスノルムに比例する境界を持つことが確認された。
• 量子SVMアルゴリズムの漸近的複雑度と同等の指数的高速化を達成するが、量子ハードウェアを必要としない。
• 低ランクデータセットを人工的に構築し、実験的検証を実施した結果、理論的仮定下でのアプローチの実現可能性とスケーラビリティが確認された。