[논문 리뷰] Quantum Expectation-Maximization for Gaussian Mixture Models

Iordanis Kerenidis, Alessandro Luongo외 1명|arXiv (Cornell University)|2019. 08. 19.

Machine Learning and Algorithms참고 문헌 57인용 수 14

한 줄 요약

이 논문은 유한한 수렴성과 정밀도 보장을 갖춘 양자 알고리즘인 양자 기대최대화(QEM)를 소개한다. 데이터에 대한 양자 액세스를 활용함으로써 QEM은 데이터 포인트 수에 대해 다항로그 시간 복잡도를 달성하여, 조건수 및 희소성 요소 등의 핵심 매개변수들이 유한할 경우, 대규모 데이터셋에 대해 고전적 EM보다 잠재적인 양자 가속을 제공한다.

ABSTRACT

The Expectation-Maximization (EM) algorithm is a fundamental tool in unsupervised machine learning. It is often used as an efficient way to solve Maximum Likelihood (ML) estimation problems, especially for models with latent variables. It is also the algorithm of choice to fit mixture models: generative models that represent unlabelled points originating from $k$ different processes, as samples from $k$ multivariate distributions. In this work we define and use a quantum version of EM to fit a Gaussian Mixture Model. Given quantum access to a dataset of $n$ vectors of dimension $d$, our algorithm has convergence and precision guarantees similar to the classical algorithm, but the runtime is only polylogarithmic in the number of elements in the training set, and is polynomial in other parameters - as the dimension of the feature space, and the number of components in the mixture. We generalize further the algorithm in two directions. First, we show how to fit any mixture model of probability distributions in the exponential family. Then, we show how to use this algorithm to compute the Maximum a Posteriori (MAP) estimate of a mixture model: the Bayesian approach to likelihood estimation problems. We discuss the performance of the algorithm on a dataset that is expected to be classified successfully by this algorithm, arguing that on those cases we can give strong guarantees on the runtime.

연구 동기 및 목표

• 고전적 기대최대화(EM) 알고리즘의 수렴성과 정밀도를 모방하는 양자 알고리즘을 개발하는 것.
• 기대최대화의 양자 프레임워크를 가우시안 가족 외의 지수족 분포를 갖는 혼합 모델로 확장하는 것.
• 양자 알고리즘의 런타임 복잡도를 분석하고, 고전적 EM보다 양자 우수성을 보장하는 조건을 설정하는 것.
• 실제 데이터셋인 VoxForge와 같은 사례를 통해 조건수 및 오차 허용 오차와 같은 핵심 매개변수의 경험적 평가를 통한 알고리즘 성능 검증.

제안 방법

• 알고리즘은 데이터셋에 대한 양자 액세스를 사용하며, 런타임 Õ(n)을 갖는 사전처리 단계를 통해 양자 상태로 모델링된다.
• 양자 선형대수 기법, 특히 양자 특이값 변환과 양자 상태 준비를 활용하여 구성 요소의 책임을 효율적으로 계산하고 매개변수를 갱신한다.
• 오차 한계 δθ 및 δμ를 제어하기 위해 앰플리튜드 추정과 양자 토모그라피를 사용하여 혼합 비율과 공분산 행렬을 추정한다.
• 수치적 안정성과 유한한 런타임을 확보하기 위해 공분산 행렬에 임계값 처리를 적용하여 조건수 κ(Σ)를 제어한다.
• 사전 분포를 우도 함수에 통합함으로써 최대우도(ML) 및 최대사후확률(MAP) 추정을 모두 지원한다.
• 자르기된 가우시안 노이즈를 사용한 편향 기법을 적용하여 오차 제약 조건 하에서도 정확도를 유지하고 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고전적 EM의 수렴성과 정밀도 행동을 재현할 수 있는 양자 알고리즘을 설계할 수 있는가?
• RQ2 GMM을 피팅하는 데 있어 양자 런타임 복잡도는 얼마이며, 어떤 매개변수 영역에서 고전적 EM보다 가속을 제공하는가?
• RQ3 조건수, 희소성, 오차 허용 오차와 같은 핵심 양자 매개변수들이 양자 EM 알고리즘의 성능 및 확장성에 미치는 영향은 무엇인가?
• RQ4 양자 EM 프레임워크는 가우시안 외의 지수족 분포로 일반화될 수 있는가?
• RQ5 실제 GMM 피팅 작업에서의 양자 가속 가능성을 뒷받침하는 경험적 증거는 무엇인가?

주요 결과

• VoxForge 데이터셋에서 QEM은 δμ = 0.5 및 δθ = 0.038를 사용하여 테스트 정확도 98.7%를 달성했으며, 고전적 EM의 97.1% 정확도를 초월했다.
• 학습 반복 과정 전반에 걸쳐 데이터 행렬의 조건수 κ(V)가 안정적으로 유지되어 데이터 누적에 대한 강건성을 보였다.
• 공분산 행렬의 최대 조건수를 0.07으로 제한하는 임계값 처리를 통해 오차 전파가 크게 감소하고 모델 정규화가 향상되었다.
• 반복당 알고리즘의 런타임은 Õ(d²k⁴.⁵η³κ(V)κ(Σ)μ(Σ)/δμ³)이며, n에 대해 다항로그 의존성을 보이며, 이는 큰 n에 대해 잠재적인 양자 우수성을 시사한다.
• 경험적 분석 결과, 실제 설정에서 효과적 조건수 κ(Σ)와 μ(Σ)와 같은 기타 매개변수들이 유한하게 유지되어 실용적 타당성을 뒷받침했다.
• 학습 중 노이즈 사용이 강건성을 향상시켰으며, 모든 7개 초기화 설정에서 적절한 초모수 조정을 통해 성공적으로 수렴하였다.