[논문 리뷰] Quantum-inspired annealers as Boltzmann generators for machine learning and statistical physics

Alexander E. Ulanov, Egor Tiunov외 1명|arXiv (Cornell University)|2019. 12. 18.

Quantum Computing Algorithms and Architecture참고 문헌 38인용 수 4

한 줄 요약

이 논문은 복잡한 고차원 이징 분포에서 샘플링하기 위한 고품질의 버르츠만 생성기로, 양자 영감을 받은 디지털 앤날러인 SimCIM을 소개한다. SimCIM 샘플을 사용하여 MNIST 숫자 이미지에 대한 완전히 가시적인 버르츠만 기계를 성공적으로 훈련시켰으며, 분류 정확도 86.9%와 효과적인 분할 함수 추정을 달성하여 평균장 방법을 능가하고 양자 앤날러 및 딥 러닝 모델에 대한 즉각적인 대체 수단을 제공한다.

ABSTRACT

Quantum simulators and processors are rapidly improving nowadays, but they are still not able to solve complex and multidimensional tasks of practical value. However, certain numerical algorithms inspired by the physics of real quantum devices prove to be efficient in application to specific problems, related, for example, to combinatorial optimization. Here we implement a numerical annealer based on simulating the coherent Ising machine as a tool to sample from a high-dimensional Boltzmann probability distribution with the energy functional defined by the classical Ising Hamiltonian. Samples provided by such a generator are then utilized for the partition function estimation of this distribution and for the training of a general Boltzmann machine. Our study opens up a door to practical application of numerical quantum-inspired annealers.

연구 동기 및 목표

• 고차원 버르츠만 분포에서 편향 없는 샘플을 생성하기 위한 실용적이고 효율적이며 노이즈에 강한 방법을 개발하는 것.
• 이러한 샘플을 활용하여 일반 버르츠만 기계를 훈련시키고 통계역학에서 계산이 불가능한 분할 함수를 추정하는 것.
• 기존의 양자 앤날러의 한계—예를 들어 파rameter 노이즈, 제한된 아키텍처, 코herence 손실—을 양자 영감을 받은 고전적 공명 이징 기계의 시뮬레이션을 통해 극복하는 것.
• 양자 영감을 받은 수치적 알고리즘이 양자 앤날러와 딥 러닝 모델에 대한 즉각적인 대체 수단으로서의 버르츠만 생성기로 기능할 수 있음을 보여주는 것. 이는 평균장 근사보다 뛰어나며, 머신러닝 및 물리학 응용 분야에서 직접 사용이 가능하다.

제안 방법

• 연구는 고전적 이징 해밀토니안에 의해 정의된 버르츠만 분포에서 일괄 샘플링을 생성하기 위해 공명 이징 기계의 수치 시뮬레이션인 SimCIM 알고리즘을 사용한다.
• SimCIM에서 생성된 샘플을 사용하여 직접 합산과 안네일드 중요도 샘플링(AIS)을 통해 분할 함수를 추정하며, 저차원 사례에서는 정확한 열거와 비교한다.
• 스토케스틱 그래디언트 상승법을 사용하여 SimCIM에서 생성된 샘플로부터 그래디언트를 계산함으로써, 완전히 가시적이고 완전히 연결된 버르츠만 기계를 로그우도 목표 함수에 대해 훈련시킨다.
• 학습 중에 효과적 온도 조정을 적용하여 수렴성과 성능을 향상시키며, 이는 로그우도와 분류 정확도를 모두 향상시킨다.
• SimCIM이 임의의 실수 값 커플링 및 바이어스 행렬을 처리할 수 있는 능력을 활용하여, 복잡한 에너지 경관을 정확히 모델링할 수 있다.
• 딥 뉴럴 네트워크와 같은 반복적 훈련이 필요로 하지 않으며, D-Wave와 같은 실제 양자 앤날러의 하드웨어 제약도 피한다.

실험 결과

연구 질문

• RQ1 SimCIM과 같은 양자 영감을 받은 수치적 앤날러는 고차원 버르츠만 분포에서 고품질의 편향 없는 샘플을 생성할 수 있는가?
• RQ2 이러한 샘플은 MNIST와 같은 벤치마크 데이터셋에서 분류 작업을 위한 일반 버르츠만 기계를 효과적으로 훈련시킬 수 있는가?
• RQ3 SimCIM에서 생성된 샘플을 사용하여 분할 함수를 정확히 추정할 수 있는가? 정확한 값이나 평균장 방법과 비교했을 때 어떻게 되는가?
• RQ4 SimCIM은 강한 상관관계를 포착하는 데 있어 전통적인 평균장 근사보다 뛰어나게 성능을 발휘하는가?
• RQ5 SimCIM은 실제 양자 앤날러의 하드웨어 제약을 우회할 수 있는 즉각적인 대체 수단으로서의 버르츠만 생성기로 기능할 수 있는가?

주요 결과

• SimCIM 기반의 버르츠만 생성기는 MNIST 데이터셋에서 완전히 가시적인 버르츠만 기계를 성공적으로 훈련시켜 분류 정확도 86.9%를 달성했다.
• SimCIM 샘플에서 추정한 분할 함수 값은 저차원 설정에서 완전한 탐색으로 계산된 정확한 값과 강력한 일치를 보였다.
• 학습 중에 효과적 온도 조정을 적용함으로써 평균 로그우도와 분류 정확도가 모두 크게 향상되었다.
• SimCIM에서 생성된 샘플을 사용하여 손글씨 숫자의 의미 있는 재구성 이미지를 만들 수 있었으며, 학습 에포크가 진행될수록 시각적 품질이 향상되었다.
• SimCIM 샘플은 장거리 스핀 상관관계를 더 잘 포착하고, 계산이 불가능한 통계적 양의 더 정확한 추정을 가능하게 하여 평균장 근사보다 뛰어난 성능을 보였다.
• SimCIM은 실용적이고 노이즈에 강하며 하드웨어에 종속되지 않는 물리적 양자 앤날러의 대체 수단을 제공하며, 반복적 훈련 없이 머신러닝 및 통계역학 응용 분야에 직접 적용이 가능하다.