[논문 리뷰] Quantum-assisted learning of graphical models with arbitrary pairwise connectivity

Marcello Benedetti, John Realpe-Gómez외 2명|arXiv (Cornell University)|2016. 09. 08.

Quantum Computing Algorithms and Architecture인용 수 11

한 줄 요약

이 논문은 양자 어닐링 기반의 방법을 제안하여, 희박한 큐비트 연결성과 노이즈가 있는 파rameter 등의 하드웨어 제약을 극복하고 임의의 이원 상호작용을 가진 확률적 그래픽 모델을 훈련한다. 효과적인 온도를 알지 못하는 것과 노이즈를 줄이는 것을 통해, 실제 및 합성 데이터셋에서 전면 연결성(모든 쌍 간 연결)을 가진 모델을 성공적으로 훈련하였으며, 최대 940 큐비트를 사용하여 인간 수준의 숫자 생성을 달성하였다.

ABSTRACT

There is increasing interest in the potential advantages of using quantum computing technologies as sampling engines to speedup machine learning and probabilistic programming tasks. However, some pressing challenges in state-of-the-art quantum annealers have to be overcome before we can assess their actual performance. Most notably, the effective temperature at which samples are generated is instance-dependent and unknown, the interaction graph is sparse, the parameters are noisy, and the dynamic range of the parameters is finite. Of all these limitations, the sparse resulting from the local interaction between quantum bits in physical hardware implementations, is considered the most severe limitation to the quality of constructing powerful machine learning models. Here we show how to surpass this curse of limited connectivity bottleneck and illustrate our findings by training probabilistic generative models with arbitrary pairwise connectivity. Our model can be trained in quantum hardware without full knowledge of the effective parameters specifying the corresponding Boltzmann-like distribution. Therefore, inference of the effective temperature is avoided and the effect of noise in the parameters is mitigated. We illustrate our findings by successfully training hardware-embedded models with all-to-all on a real dataset of handwritten digits and two synthetic datasets. In each of these datasets we show the generative capabilities of the models learned with the assistance of the quantum annealer in experiments with up to 940 quantum bits. Additionally, we show a visual Turing test with handwritten digit data, where the machine generating the digits is a quantum processor. Such digits, with a remarkable similarity to those generated by humans, are extracted from the experiments with 940 quantum bits.

연구 동기 및 목표

• 양자 어닐링기에서 제한된 큐비트 연결성으로 인해 강력한 확률적 모델의 훈련이 제한되는 문제를 해결하기 위해.
• 완전한 지식 없이도 효과적인 온도를 알지 못하는 상태에서, 양자 하드웨어에서 임의의 이원 상호작용을 가진 생성 모델을 훈련할 수 있도록 하기 위해.
• 현재의 양자 어닐링 장치에서의 파rameter 노이즈와 유한한 다이내믹 레인지의 영향을 줄이기 위해.
• 실제 양자 하드웨어에서 전면 연결성을 가진 복잡한 모델을 실용적이고 노이즈에 강건한 방법으로 훈련할 수 있는지의 가능성을 입증하기 위해.
• 손글씨 숫자 데이터셋에서 인간이 생성한 데이터와 구분하기 어려운 수준의 생성 품질을 확보하기 위해, 양자 보조 훈련된 모델의 성능을 시각적 튜링 테스트로 검증하기 위해.

제안 방법

• 이 방법은 임의의 이원 상호작용을 가진 무방향 그래픽 모델을 훈련하기 위해 양자 어닐링기를 샘플링 엔진으로 활용한다.
• 효과적인 온도를 추론할 필요가 없도록 학습 목표를 설정함으로써, 양자 샘플링에서 주요 오차 원인이 되는 요소를 피한다.
• 절대 파rameter 값이 아닌 상대 에너지 차이에 기반함으로써, 노이즈가 있는 파rameter와 유한한 다이내믹 레인지에 대해 강건한 방법을 제공한다.
• 양자 어닐링 하드웨어의 제약에 맞게 조정된 최대우도추정 프레임워크를 사용해 모델을 훈련한다.
• 전면 연결성을 달성하기 위해, 희박한 하드웨어 그래프에 전체 연결성을 매핑하는 임베딩 기법을 사용한다.
• 이 방법은 손글씨 숫자의 실제 데이터셋과 두 개의 합성 데이터셋에서 검증되었으며, 실험에서 최대 940 큐비트를 사용하였다.

실험 결과

연구 질문

• RQ1 양자 어닐링기가 하드웨어 제약에도 불구하고, 임의의 이원 상호작용을 가진 확률적 그래픽 모델의 훈련에 사용될 수 있는가?
• RQ2 양자 보조 기계학습에서 효과적인 온도를 추론할 필요를 피할 수 있는가?
• RQ3 파rameter 노이즈와 유한한 다이내믹 레인지가 모델 훈련에 미치는 영향은 무엇이며, 실제로 이러한 영향을 줄일 수 있는가?
• RQ4 양자로 생성된 샘플이 시각적 튜링 테스트에서 인간이 생성한 데이터와 구분하기 어려운가?
• RQ5 이 방법을 사용해 실제 하드웨어에서 성공적으로 훈련할 수 있는 최대 모델 크기(큐비트 수)는 얼마인가?

주요 결과

• 이 방법은 최대 940 큐비트를 사용하여 실제 손글씨 숫자 데이터셋에서 전면 연결성을 가진 생성 모델을 성공적으로 훈련하였다.
• 양자 어닐링기의 효과적인 온도를 추정할 필요 없이도 훈련이 가능하여, 양자 샘플링에서 주요 오차 원인이 되는 요소를 줄였다.
• 절대 파rameter 값에 민감하지 않기 때문에, 파rameter 노이즈와 유한한 다이내믹 레인지의 영향이 모델 성능에 거의 미치지 못했다.
• 양자로 생성된 손글씨 숫자는 시각적 튜링 테스트에서 인간이 생성한 숫자와 매우 유사한 것으로 평가되었다.
• 이 방법은 실제 양자 하드웨어에서 확장성과 실용성을 입증하였으며, 전면 연결성을 가진 양자 보조 학습에서 최고 수준의 성능을 달성하였다.
• 결과적으로, 적절한 알고리즘 설계와 함께 양자 어닐링기는 복잡한 기계학습 작업을 위한 효과적인 샘플링 엔진이 될 수 있음을 확인하였다.