[論文レビュー] Quantum Expectation-Maximization for Gaussian Mixture Models

Iordanis Kerenidis, Alessandro Luongo+1 more|arXiv (Cornell University)|Aug 19, 2019

Machine Learning and Algorithms参考文献 57被引用数 14

ひとこと要約

この論文では、Gaussian Mixture Models (GMMs) のフィッティングを目的とした、収束性と精度保証を備えた量子アルゴリズムである Quantum Expectation-Maximization (QEM) を提案する。データへの量子アクセスを活用することで、データポイント数に対して多項対数時間の実行時間（polylogarithmic runtime）を達成し、条件数やスパarsity要因といった主要パラメータが有界な場合、大規模データセットにおいて古典的EMに対する潜在的な量子高速化を実現する可能性を示す。

ABSTRACT

The Expectation-Maximization (EM) algorithm is a fundamental tool in unsupervised machine learning. It is often used as an efficient way to solve Maximum Likelihood (ML) estimation problems, especially for models with latent variables. It is also the algorithm of choice to fit mixture models: generative models that represent unlabelled points originating from $k$ different processes, as samples from $k$ multivariate distributions. In this work we define and use a quantum version of EM to fit a Gaussian Mixture Model. Given quantum access to a dataset of $n$ vectors of dimension $d$, our algorithm has convergence and precision guarantees similar to the classical algorithm, but the runtime is only polylogarithmic in the number of elements in the training set, and is polynomial in other parameters - as the dimension of the feature space, and the number of components in the mixture. We generalize further the algorithm in two directions. First, we show how to fit any mixture model of probability distributions in the exponential family. Then, we show how to use this algorithm to compute the Maximum a Posteriori (MAP) estimate of a mixture model: the Bayesian approach to likelihood estimation problems. We discuss the performance of the algorithm on a dataset that is expected to be classified successfully by this algorithm, arguing that on those cases we can give strong guarantees on the runtime.

研究の動機と目的

• Gaussian Mixture Models (GMMs) のための、古典的Expectation-Maximization (EM) と同等の収束性と精度を再現する量子アルゴリズムの開発。
• 指数分布族に属する基本分布を用いた混合モデルへの量子EMフレームワークの拡張。
• 量子アルゴリズムの実行時間複雑度の分析を行い、古典的EMに対する量子優位性が得られる条件の特定。
• VoxForgeなどの実世界データセットを用いた実験的評価を通じて、条件数や誤差許容度といった主要パラメータの性能評価。

提案手法

• アルゴリズムは、実行時間 Õ(n) の前処理ステップを経て準備された量子状態としてモデル化されたデータへの量子アクセスを用いる。
• 量子線形代数技術、特に量子特異値変換と量子状態準備を用いて、成分の責任（responsibilities）の計算とパラメータの更新を効率的に行う。
• 振幅推定と量子トモグラフィーを用いて、混合係数と共分散行列の推定を誤差境界 δθ と δμ で制御する。
• 共分散行列にしきい値処理を施し、条件数 κ(Σ) を制御することで、数値的安定性と有界な実行時間の確保を図る。
• 事前分布を尤度関数に組み込むことで、最尤推定（ML）と事後確率最大化（MAP）推定の両方をサポートする。
• 切り捨てられたガウスノイズを用いた摂動技術を適用し、誤差制約下でもパラメータの正確性を維持する耐性を実現する。

実験結果

リサーチクエスチョン

• RQ1 GMMの古典的EMと同等の収束性と精度を再現できる量子アルゴリズムを設計可能か？
• RQ2 GMMのフィッティングにおける量子実行時間複雑度は何か？ また、古典的EMに対する高速化が得られるパrameterの範囲はどのようなものか？
• RQ3 条件数、スパarsity、誤差許容度といった主要な量子パラメータが、量子EMアルゴリズムの性能とスケーラビリティに与える影響は何か？
• RQ4 Gauss分布を超えた指数分布族に属する他の分布に対しても、量子EMフレームワークを一般化可能か？
• RQ5 実世界のGMMフィッティングタスクにおける量子高速化の実現可能性を裏付ける実証的証拠は何か？

主な発見

• VoxForgeデータセットにおいて、QEMは δμ = 0.5 と δθ = 0.038 を用いて98.7%のテスト精度を達成し、古典的EMの97.1%を上回った。
• 訓練の各イテレーションを通じて、データ行列の条件数 κ(V) が安定しており、データ蓄積に対する耐性が示された。
• 共分散行列の最大条件数を0.07に制限するしきい値処理により、誤差伝搬が顕著に低減され、モデル正則化が向上した。
• 1イテレーションあたりの実行時間は Õ(d²k⁴.⁵η³κ(V)κ(Σ)μ(Σ)/δμ³) であり、nに対して多項対数依存性を示すため、nが大きい場合に潜在的な量子優位性が得られる。
• 実験的分析から、有効な条件数 κ(Σ) と μ(Σ) などの他のパラメータが現実的状況下で有界に保たれていることが示され、実用的実現可能性が裏付けられた。
• トレーニング中にノイズを導入することで耐性が向上し、すべての7つの初期化設定が適切なハイパーパrameterチューニングのもとで正常に収束した。