[논문 리뷰] Quantum Deep Learning

Nathan Wiebe, Ashish Kapoor외 1명|arXiv (Cornell University)|2014. 12. 10.

Quantum Computing Algorithms and Architecture인용 수 5

한 줄 요약

이 논문은 깊이 있는 볼츠만 기계를 훈련하기 위해 기댓값을 효율적으로 계산하는 데 사용할 수 있는 양자 알고리즘—양자 샘플링을 통한 기울기 추정(GEQS)과 양자 진폭 추정을 통한 기울기 추정(GEQAE)—을 제안한다. 이 알고리즘들은 볼츠만 기계의 급격한 분포와 유사한 양자 상태를 준비함으로써 기울기를 계산한다. 이 방법은 기댓값 계산에서 고전적 방법에 비해 지수적 속도 향상을 달성하여, 대비 분산과 같은 최적화되지 않은 근사 방법에 의존하지 않고도 제한된 볼츠만 기계와 전체 볼츠만 기계의 더 빠르고 정확한 훈련을 가능하게 한다.

ABSTRACT

In recent years, deep learning has had a profound impact on machine learning and artificial intelligence. At the same time, algorithms for quantum computers have been shown to efficiently solve some problems that are intractable on conventional, classical computers. We show that quantum computing not only reduces the time required to train a deep restricted Boltzmann machine, but also provides a richer and more comprehensive framework for deep learning than classical computing and leads to significant improvements in the optimization of the underlying objective function. Our quantum methods also permit efficient training of full Boltzmann machines and multi-layer, fully connected models and do not have well known classical counterparts.

연구 동기 및 목표

• 분할 함수의 지수적 스케일링으로 인해 정확한 기울기 계산이 계산적으로 불가능한 깊이 있는 볼츠만 기계 문제를 해결하기 위해.
• 대비 분산과 같은 히우리스틱 근사 방법에 의존하지 않고, 최대우도 목적 함수의 기댓값을 직접 추정할 수 있는 양자 알고리즘 개발을 위해.
• 양자 중첩과 진폭 추정을 활용하여, 고전적 방법으로는 효율적이지 않은 전체 볼츠만 기계와 깊이 있는 제한된 볼츠만 기계의 효율적 훈련을 가능하게 하기 위해.
• 양자 샘플링을 활용하여 최적화와 모델 품질을 향상시켜 더 포괄적이고 정확한 프레임워크를 제공함으로써 딥 러닝을 개선하기 위해.

제안 방법

• GEQS는 양자 상태 준비 기법을 사용하여 볼츠만 기계의 급격한 분포와 유사한 일관된 중첩 상태를 준비하는 양자 알고리즘을 제안한다.
• GEQAE에서 양자 진폭 추정(QAE)을 활용하여 $\langle v_i h_j \rangle$와 같은 관측량의 기댓값을 고정밀도로 추정함으로써 고전적 몬테카를로 방법에 비해 질의 복잡도를 감소시킨다.
• 에너지 함수 $E(v,h)$에 따라 양자 상태를 진화시키는 하미르토니안 시뮬레이션 방법을 사용하여 급격한 분포에 해당하는 열역학적 상태를 준비한다.
• 양자 회로의 보편 게이트 세트를 활용하여 상태 준비 및 측정에 필요한 유니터리 연산을 단일 큐비트 회전과 제어-NOT 게이트를 사용해 구현한다.
• 볼츠만 기계의 에너지 함수의 구조를 활용하여 문제를 양자 하미르토니안으로 매핑하고, 양자 위상 추정 또는 진폭 추정을 사용해 효율적으로 시뮬레이션할 수 있도록 한다.
• 결과로 얻어진 양자 상태에서 측정을 통해 샘플링을 수행하고, 최대우도 목적 함수의 기울기에서 기댓값을 추출한다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 깊이 있는 볼츠만 기계 훈련에 필요한 기울기 계산에서 지수적 속도 향상을 제공할 수 있는가?
• RQ2 양자 방법은 대비 분산과 같은 이론적 보장이 없고 종종 최적해를 산출하지 못하는 고전적 근사의 한계를 피할 수 있는가?
• RQ3 숨은 단위가 상호 연결된 전체 볼츠만 기계를 양자 계산을 통해 효율적으로 훈련시킬 수 있는가? (고전적 시스템에서는 계산이 불가능하다.)
• RQ4 양자 향상된 딥 러닝 프레임워크가 복잡한 계층적 표현에 대해 훈련 효율성과 모델 품질 측면에서 고전적 방법을 능가할 수 있는가?
• RQ5 양자 알고리즘은 딥 러닝 모델에서 최대우도 목적 함수의 수렴성과 최적화 측면에서 고전적 방법과 어떻게 비교되는가?

주요 결과

• 제안된 양자 알고리즘은 고전적 몬테카를로 방법에 비해 기댓값 추정에서 제곱근 속도 향상을 달성하여 정밀도 $\epsilon$에 대해 질의 복잡도를 $O(1/\epsilon^2)$에서 $O(1/\epsilon)$로 감소시킨다.
• GEQS와 GEQAE는 대비 분산과 같은 근사 방법에 의존하지 않고 최대우도 목적 함수의 정확한 기울기 계산을 가능하게 하여, 이론적으로 타당하지 않으며 수렴 문제를 야기할 수 있는 기존 방법의 단점을 피한다.
• 이 방법은 이전에는 분할 함수 계산의 지수적 비용으로 인해 고전 컴퓨터에서 구현이 불가능했던 전체 볼츠만 기계의 효율적 훈련을 가능하게 한다.
• 양자 프레임워크는 고전적 순차적 훈련이 비방향성 구조를 파괴하는 데서 비롯되는 제약을 극복하여, 전체 계층 간 연결이 가능한 깊이 있는 제한된 볼츠만 기계(dRBMs)의 훈련을 지원한다.
• 양자 접근은 고전적 근사 방법에서 유도되는 편향을 피하기 때문에 훈련 데이터에서 더 잘 최적화된 모델과 향상된 가능도를 제공한다.
• 알고리즘은 원칙적으로 확장 가능하며, 양자 병렬 처리를 활용하여 가시 단위와 은닉 단위 구성의 지수적 크기 상태 공간을 동시에 탐색할 수 있다.