[논문 리뷰] Quantum Generalized Linear Models

Colleen Farrelly, Srikanth Namuduri외 1명|arXiv (Cornell University)|2018. 01. 01.

Statistical Methods and Bayesian Inference참고 문헌 25인용 수 1

한 줄 요약

이 논문은 일반선형모형(GLM)의 한계를 해결하기 위해 양자계산을 통합한 새로운 접근법인 양자 일반선형모형(QGLM)을 제안한다. 기존의 고정된 링크 함수가 필요로 하는 대신, 비정규 양자 게이트를 사용해 결과 분포를 연속적으로 변형함으로써 전통적인 링크 함수의 필요성을 제거한다. 이는 UCI 산불 데이터셋에서 과분산이 심한 Tweedie 회귀 문제에서 최신 기술 수준(SOTA) 성능을 달성하며, 평균제곱오차(MSE) 기준으로 기존 알고리즘보다 약 10% 향상된 성과를 보였다.

ABSTRACT

Generalized linear models (GLM) are link function based statistical models. Many supervised learning algorithms are extensions of GLMs and have link functions built into the algorithm to model different outcome distributions. There are two major drawbacks when using this approach in applications using real world datasets. One is that none of the link functions available in the popular packages is a good fit for the data. Second, it is computationally inefficient and impractical to test all the possible distributions to find the optimum one. In addition, many GLMs and their machine learning extensions struggle on problems of overdispersion in Tweedie distributions. In this paper we propose a quantum extension to GLM that overcomes these drawbacks. A quantum gate with non-Gaussian transformation can be used to continuously deform the outcome distribution from known results. In doing so, we eliminate the need for a link function. Further, by using an algorithm that superposes all possible distributions to collapse to fit a dataset, we optimize the model in a computationally efficient way. We provide an initial proof-of-concept by testing this approach on both a simulation of overdispersed data and then on a benchmark dataset, which is quite overdispersed, and achieved state of the art results. This is a game changer in several applied fields, such as part failure modeling, medical research, actuarial science, finance and many other fields where Tweedie regression and overdispersion are ubiquitous.

연구 동기 및 목표

• 과분산 및 제로가중치가 많은 데이터를 다루는 데 있어 기존 GLM 및 머신러닝 확장 기법의 한계를 해결하기 위해.
• GLM 모델 선택 시 모든 가능한 분포를 시험하는 데서 비효율적인 계산 문제를 해결하기 위해.
• 정의된 링크 함수에 의존하지 않고, 양자 게이트를 통한 결과 분포의 연속적 변형을 가능하게 하여 링크 함수의 필요성을 제거하기 위해.
• 실제 복잡한 데이터셋에서 양자강화 통계모델링의 실현 가능성과 우수성을 입증하기 위해.
• 양자계산을 일반선형모형 및 관련 통계 프레임워크에 통합하기 위한 기반을 마련하기 위해.

제안 방법

• GLM 파라미터 추정을 위한 양자 회로를 시뮬레이션하기 위해 Xanadu의 Strawberry Fields와 qumode 양자계산 프레임워크를 활용한다.
• 계수 행렬 β = O₁ΣO₂의 특이값 분해(SVD)를 사용해 GLM 파라미터를 양자 게이트 작동으로 매핑한다.
• 선형 간섭계(U₁, U₂), 압축 게이트(S), 비정규 게이트(Φ)의 순차적 적용을 통해 역링크 함수를 모델링한다.
• GLM 예측을 |g⁻¹(Xβ)⟩ ≈ Φ·U₂·S·U₁|X⟩로 표현하여 모델을 연속적인 양자 상태 공간에 통합한다.
• 학습률 0.1로 80회 반복하는 경사하강법과 qumode 절단 차원 10을 사용해 모델을 최적화한다.
• 동일한 데이터셋에 대해 각 알고리즘을 10회 반복 실행하여 확률적 양자 노이즈의 영향을 평균화하고 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 양자계산을 통해 고정된 링크 함수 없이 결과 분포를 연속적으로 변형시킬 수 있는가?
• RQ2 양자강화 GLM은 과분산 및 제로가중치가 많은 데이터셋에서 기존 최신 기술 수준 알고리즘보다 어떻게 성능을 내는가?
• RQ3 모든 가능한 분포에 대해 근사적인 검색 없이도 양자 회로가 효율적으로 모델 파라미터를 최적화할 수 있는가?
• RQ4 내재된 양자 노이즈와 확률적 측정으로 인한 영향에도 불구하고 양자 GLM 프레임워크는 강건성과 정확성을 유지하는가?
• RQ5 이 방법은 일반선형모형 외에도 일반화된 추정방정식 및 혼합모형과 같은 다른 통계모형으로 확장 가능한가?

주요 결과

• QGLM는 UCI 산불 데이터셋에서 스케일된 모델 MSE 0.106을 기록했으며, 다음으로 우수한 알고리즘인 DGLARS의 0.114보다 약 10% 향상된 성능을 보였다.
• 모의 과분산 데이터셋에서 QGLM는 스케일된 MSE 0.82를 달성했으며, 부스팅 회귀 및 DGLARS와 같은 최신 기술 수준 알고리즘과 유사한 성능을 보였다.
• 양자 노이즈가 존재하더라도 모델은 강건성을 유지했으며, 10회 반복 평균을 통해 확률적 변동성의 영향을 완화했다.
• 비정규 양자 게이트를 사용해 직접적으로 역링크 함수를 모델링함으로써, 사전 정의된 링크 함수의 필요성을 성공적으로 제거했다.
• 지수족 분포의 기하학적 구조를 활용해 이를 양자 게이트 작동으로 매핑함으로써 효율적인 분포 최적화를 가능하게 했다.
• 결과는 QGLM를 계층모형, 혼합모형, 동적 시스템에서의 호모토피-연속 방법 등으로 확장할 잠재력이 높다는 것을 시사한다.