[논문 리뷰] Benchmarking Quantum Hardware for Training of Fully Visible Boltzmann Machines

Dmytro Korenkevych, Yanbo Xue외 5명|arXiv (Cornell University)|2016. 11. 14.

Quantum Computing Algorithms and Architecture참고 문헌 18인용 수 15

한 줄 요약

이 논문은 완전히 표시된 볼츠만 기계를 학습시키기 위해 D-Wave 양자 앤날링 하드웨어를 벤치마킹하며, 높은 에너지 장벽이 있는 다모드 분포를 학습하는 데 있어 원시 양자 샘플링(k=0 거리 간섭 없음)이 고전적 대비 분산 대비 기반 기반 학습법(CD) 및 지속적 대비 분산(PCT)보다 뛰어나다는 것을 입증한다. 고전적 볼츠만 분포에서 크게 벗어나지만, 양자 샘플링은 더 빠르고 정확한 매개변수 업데이트를 가능하게 하여 모델 성능을 향상시킨다.

ABSTRACT

Quantum annealing (QA) is a hardware-based heuristic optimization and sampling method applicable to discrete undirected graphical models. While similar to simulated annealing, QA relies on quantum, rather than thermal, effects to explore complex search spaces. For many classes of problems, QA is known to offer computational advantages over simulated annealing. Here we report on the ability of recent QA hardware to accelerate training of fully visible Boltzmann machines. We characterize the sampling distribution of QA hardware, and show that in many cases, the quantum distributions differ significantly from classical Boltzmann distributions. In spite of this difference, training (which seeks to match data and model statistics) using standard classical gradient updates is still effective. We investigate the use of QA for seeding Markov chains as an alternative to contrastive divergence (CD) and persistent contrastive divergence (PCD). Using $k=50$ Gibbs steps, we show that for problems with high-energy barriers between modes, QA-based seeds can improve upon chains with CD and PCD initializations. For these hard problems, QA gradient estimates are more accurate, and allow for faster learning. Furthermore, and interestingly, even the case of raw QA samples (that is, $k=0$) achieved similar improvements. We argue that this relates to the fact that we are training a quantum rather than classical Boltzmann distribution in this case. The learned parameters give rise to hardware QA distributions closely approximating classical Boltzmann distributions that are hard to train with CD/PCD.

연구 동기 및 목표

• 양자 앤날링 하드웨어가 완전히 표시된 볼츠만 기계 학습을 가속화하는 데 효과적인지 평가하는 것.
• D-Wave 양자 하드웨어의 샘플링 분포를 특성화하고 고전적 볼츠만 분포와 비교하는 것.
• CD 및 PCD와 같은 고전적 초기화 방법과 비교해 양자 샘플링이 학습 효율성을 향상시키는지 조사하는 것.
• 비-볼츠만 성격을 띤 양자 하드웨어 샘플링이 모델 학습 및 매개변수 업데이트 정확도에 미치는 영향을 평가하는 것.
• 원시 양자 샘플링(k=0)이 학습 과정에서 마르코프 체인의 효과적인 시드로 사용될 수 있는지 탐색하는 것.

제안 방법

• 연구는 희박한 카이머라 연결성을 가진 에너지 기반 모델에서 샘플링을 위해 2000 큐비트 D-Wave 양자 앤날링 하드웨어를 사용한다.
• 모델 분포에 볼츠만 형태를 가정하고 데이터 및 모델 통계 기반 손실 함수를 사용하여 확률적 경사 하강법을 통해 완전히 표시된 볼츠만 기계를 학습시킨다.
• 세 가지 초기화 전략을 비교한다: 대비 분산(CD), 지속적 대비 분산(PCD), 그리고 고전적 방법 대비 양자 앤날링 샘플(QA)을 기반으로 한 고전적 Gibbs 샘플링 초기화.
• 각 방법에 대해 k=0에서 k=50까지의 Gibbs 단계를 사용하며, 반복 과정에서 학습률 감소를 적용한다.
• 성능 평가를 위해 테스트 데이터와 모델 분포 간의 KL 발산을 비교하며, 고전적 볼츠만 분포와 양자 샘플링 기반 모델 분포를 모두 고려한다.
• 검증을 위해 정확히 해결 가능한 고에너지 장벽이 있는 다모드 문제를 인공적으로 구성하여 분석에 집중한다.

실험 결과

연구 질문

• RQ1 완전히 표시된 볼츠만 기계 학습에서 CD 및 PCD와 같은 고전적 샘플링 방법에 비해 양자 앤날링 하드웨어가 계산적 이점을 제공할 수 있는가?
• RQ2 D-Wave 양자 하드웨어의 샘플링 분포가 다모드 에너지 경로에서 고전적 볼츠만 분포와 어떻게 비교되는가?
• RQ3 원시 양자 샘플링(k=0)이 고전적 초기화 방법보다 학습 성능을 얼마나 향상시키는가?
• RQ4 양자 하드웨어 샘플링의 비-볼츠만 성격이 확률 모델 학습에 해로운지 유익한지 여부는 무엇인가?
• RQ5 고에너지 장벽이 있는 모델에서 양자 샘플링이 수렴 속도 향상과 더 정확한 매개변수 추정에 기여할 수 있는가?

주요 결과

• 모드 간 고에너지 장벽이 있는 문제에서는 원시 양자 앤날링 샘플링(즉, k=0)이 CD 및 PCD보다 테스트 세트 KL 발산 감소에서 뚜렷한 우월성을 보인다.
• QA 샘플링을 초기 시드로 사용할 경우 더 빠른 학습이 가능하며, CD 및 PCD보다 유사하거나 더 나은 성능에 도달하기 위해 필요한 매개변수 업데이트 횟수가 적다.
• Gibbs 샘플링 없이도(k=0) 원시 양자 샘플링이 k=50과 유사한 성능 향상을 달성함으로써, 양자 분포 자체가 학습에 유리한 특성을 지닌다는 것을 시사한다.
• 양자 하드웨어의 샘플링 분포는 고전적 볼츠만 분포와 상당히 다름에도 불구하고, 볼츠만 모델을 가정한 기울기 업데이트가 여전히 효과적으로 수렴한다.
• 성능 향상의 이유는 학습된 모델 매개변수가 목표 고전적 볼츠만 분포를 매우 잘 근사하는 양자 분포를 생성하기 때문이며, 이는 CD/PCD로는 도달하기 어려운 분포이다.
• 결과적으로, 양자 하드웨어는 최적화를 위한 도구로만 사용되는 것이 아니라, 생성 모델 학습을 위한 효과적인 초기화 원천으로 활용될 수 있음을 시사한다.