[논문 리뷰] Application of Quantum Annealing to Training of Deep Neural Networks

Steve Adachi, Maxwell P. Henderson|arXiv (Cornell University)|2015. 10. 21.

Quantum Computing Algorithms and Architecture참고 문헌 15인용 수 179

한 줄 요약

이 논문은 딥 뉴럴 네트워크의 사전 훈련 단계 동안 제한된 볼츠만 기계(RBMs)에서 샘플링하기 위해 D-Wave 양자 앤날링 기반 장치를 사용하는 것을 제안한다. 기존의 고전적 기반의 기브스 샘플링 대신 양자 샘플링을 사용한다. 굵은 MNIST 데이터셋에서, 양자 기반 접근 방식은 훨씬 적은 훈련 반복 횟수로 대비 기울기(contrastive divergence, CD)에 비해 유사하거나 더 높은 정확도를 달성하였다. 이는 생성적 사전 훈련에서의 속도 향상을 시사한다.

ABSTRACT

In Deep Learning, a well-known approach for training a Deep Neural Network starts by training a generative Deep Belief Network model, typically using Contrastive Divergence (CD), then fine-tuning the weights using backpropagation or other discriminative techniques. However, the generative training can be time-consuming due to the slow mixing of Gibbs sampling. We investigated an alternative approach that estimates model expectations of Restricted Boltzmann Machines using samples from a D-Wave quantum annealing machine. We tested this method on a coarse-grained version of the MNIST data set. In our tests we found that the quantum sampling-based training approach achieves comparable or better accuracy with significantly fewer iterations of generative training than conventional CD-based training. Further investigation is needed to determine whether similar improvements can be achieved for other data sets, and to what extent these improvements can be attributed to quantum effects.

연구 동기 및 목표

• 양자 앤날링이 딥 뉴럴 네트워크의 생성적 사전 훈련 단계를 가속화할 수 있는지 조사하는 것.
• 기존의 고전적 기반 기브스 샘플링을 D-Wave 장치에서 유도된 양자 샘플링으로 RBM 훈련에서 대체하는 것.
• 정확도와 훈련 효율성 측면에서 굵은 그레인의 MNIST 데이터셋에서 양자 샘플링의 성능을 평가하는 것.
• 관찰된 향상이 양자 효과 때문인지 아니면 알고리즘적 이점 때문인지 판단하는 것.
• 양자 하드웨어를 딥 러닝 훈련 파이프라인에 통합하는 가능성 탐색

제안 방법

• 저자들은 D-Wave 양자 앤날링 기반 장치에 적합한 이차 비편향 이진 최적화 문제(QUBO)에 RBM의 에너지 함수를 매핑한다.
• D-Wave 2X 프로세서에서 생성된 양자 샘플을 사용하여 RBM 가중치 갱신에 필요한 통계적 기대값을 추정한다.
• 양자 샘플링 기반 훈련 절차는 굵은 그레인의 MNIST 데이터셋에 적용된다.
• 표준 RBM 훈련과 동일한 가중치 갱신 규칙을 사용하지만, 기브스 샘플링 대신 양자로 생성된 샘플을 사용한다.
• 수렴 속도와 최종 분류 정확도 측면에서 표준 대비 기울기(CD) 훈련과 훈련 과정을 비교한다.
• 일관성과 통계적 유의성을 평가하기 위해 다수의 실행에 걸쳐 성능를 분석한다.

실험 결과

연구 질문

• RQ1 양자 앤날링은 고전적 기브스 샘플링보다 RBM 사전 훈련을 위한 더 빠르거나 더 정확한 샘플링을 제공할 수 있는가?
• RQ2 양자 샘플링 기반 RBM 훈련의 성능은 CD 기반 훈련과 비교해 수렴 속도와 최종 정확도 측면에서 어떻게 다른가?
• RQ3 관찰된 향상이 양자 효과 때문인지, 아니면 샘플링 품질과 같은 고전적 알고리즘적 이점 때문인지 어느 정도인가?
• RQ4 이러한 양자 샘플링 접근 방식은 굵은 MNIST를 초월한 더 큰 또는 더 복잡한 데이터셋으로 확장 가능한가?
• RQ5 양자 앤날링은 표준 딥 뉴럴 네트워크 훈련 파이프라인에 효과적으로 통합될 수 있는가?

주요 결과

• 양자 샘플링 기반 훈련은 굵은 그레인의 MNIST 데이터셋에서 CD 기반 훈련과 유사하거나 더 높은 테스트 정확도를 달성하였다.
• 기존의 CD 훈련에 비해 수렴하기 위해 훨씬 적은 훈련 반복 횟수를 필요로 하였다.
• 결과는 양자 앤날링이 RBM 사전 훈련에서 샘플링을 위한 실용적인 대안이 될 수 있으며, 훈련 시간을 줄일 수 있음을 시사한다.
• 연구에서 양자 샘플링이 RBM의 효과적인 가중치 갱신에 적합한 고품질 샘플을 생성할 수 있음을 관찰하였다.
• 저자들은 향상이 양자 효과 때문인지, 아니면 샘플링 품질과 같은 다른 요인 때문인지 판단하기 위해 향후 추가 연구가 필요하다고 지적하였다.
• 이 방법은 근접한 양자 하드웨어를 딥 러닝 사전 훈련에 활용하는 개념 증명의 가능성을 보여준다.