[논문 리뷰] Generative training of quantum Boltzmann machines with hidden units

Nathan Wiebe, Leonard Wossnig|arXiv (Cornell University)|2019. 05. 23.

Quantum Computing Algorithms and Architecture참고 문헌 37인용 수 32

한 줄 요약

이 논문은 가시 단위와 은닉 단위를 모두 갖는 양자 버르츠만 기계의 생성적 훈련을 위한 두 가지 효율적인 양자 알고리즘을 제안하며, 목적 함수로 양자 상대 엔트로피를 사용한다. 첫 번째 방법은 상호 가환하는 은닉 해밀토니안에 대해 변분 상한을 사용한다. 두 번째 방법은 고차 분할 차분과 유니터리의 선형 조합을 활용해 기울기를 근사하며, 효율적인 금속 상태 준비 조건 하에서 모두 효율적인 훈련을 달성한다.

ABSTRACT

In this article we provide a method for fully quantum generative training of quantum Boltzmann machines with both visible and hidden units while using quantum relative entropy as an objective. This is significant because prior methods were not able to do so due to mathematical challenges posed by the gradient evaluation. We present two novel methods for solving this problem. The first proposal addresses it, for a class of restricted quantum Boltzmann machines with mutually commuting Hamiltonians on the hidden units, by using a variational upper bound on the quantum relative entropy. The second one uses high-order divided difference methods and linear-combinations of unitaries to approximate the exact gradient of the relative entropy for a generic quantum Boltzmann machine. Both methods are efficient under the assumption that Gibbs state preparation is efficient and that the Hamiltonian are given by a sparse row-computable matrix.

연구 동기 및 목표

• 은닉 단위를 갖는 양자 버르츠만 기계를 양자 상대 엔트로피를 목적 함수로 사용해 훈련하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해.
• 은닉 단위가 존재할 경우 로그 항의 부분 추적으로 인해 기울기를 계산하는 데 수학적 난이도가 발생하는 문제를 극복하기 위해.
• 시스템 크기에 따라 잘 스케일링되며 정확도를 유지하는 실용적이고 효율적인 양자 알고리즘을 개발하기 위해.
• 목표 밀도 연산자를 잘 근사하는 해밀토니안을 학습함으로써 복잡한 양자 상태의 양자 생성 모델링을 가능하게 하기 위해.
• 노이즈가 있는 상태 준비 조건을 포함한 현실적인 양자 하드웨어 제약 조건 하에서도 기울기 추정의 강건성과 정밀도를 확보하기 위해.

제안 방법

• 은닉 단위의 해밀토니안 상호가 가환하는 제한된 양자 버르츠만 기계에 대해 양자 상대 엔트로피의 변분 상한을 도입하여 기울기 계산이 가능하도록 한다.
• 고차 분할 차분 방법을 사용해 양자 상대 엔트로피의 정확한 기울기를 근사하며, 해석적 도함수를 수치 근사로 대체한다.
• 시간 진동 및 상태 준비와 같은 필요한 양자 연산을 제어 가능한 오차로 시뮬레이션하기 위해 유니터리의 선형 조합(LCU) 기법을 활용한다.
• 모든 매개변수 차원에서 기울기 추정의 실패 확률을 줄이기 위해 양자 진폭 추정과 중앙값 평균 추정 기법을 적용한다.
• 현실적인 가정 하에서 전체 알고리즘이 효율적으로 유지되도록 희박한 해밀토니안 시뮬레이션을 통한 효율적인 금속 상태 준비를 활용한다.
• 트레이스 노름 오차 경계와 찬로프 유사 농도 불등식을 결합하여 기울기 추정 절차의 총 실패 확률을 제한한다.

실험 결과

연구 질문

• RQ1 은닉 단위를 갖는 양자 버르츠만 기계는 양자 상대 엔트로피를 손실 함수로 사용해 효율적으로 훈련될 수 있는가?
• RQ2 양자 상대 엔트로피의 로그 항에서 부분 추적으로 인해 기울기 계산이 비가역적이 되는 문제를 해결할 수 있는 기법은 무엇인가?
• RQ3 양자 시뮬레이션 기법을 사용해 일반적인 양자 버르츠만 기계에 대해 기울기 추정을 효율적으로 수행할 수 있는가?
• RQ4 금속 상태 준비 및 해밀토니안 시뮬레이션에서 발생하는 오차 전파를 어떻게 제한하여 전체 알고리즘의 정확도를 보장할 수 있는가?
• RQ5 제안된 훈련 알고리즘의 쿼리 복잡도는 데이터 밀도 연산자 및 해밀토니안 오라클에 대한 액세스 기준으로 어떻게 표현되는가?

주요 결과

• 제안된 변분 상한 방법은 가환하는 은닉 해밀토니안을 갖는 제한된 양자 버르츠만 기계의 효율적 훈련을 가능하게 하며, 비가역적인 기울기 계산을 피한다.
• 고차 분할 차분과 LCU를 사용하는 일반적 방법은 기울기 추정에 대해 총 쿼리 복잡도 \tilde{O}\left(\sqrt{\frac{N}{z}}\frac{D\|H(\theta)\|d\mu^{5}\alpha}{\epsilon^{3}}\right)를 달성하며, 로그 인자를 감추고 있다.
• 기울기 추정을 반복하고 중앙값을 취함으로써 총 실패 확률가 1/3 이하로 유지되며, 샘플 수는 O(log D) 비례로 증가한다.
• 금속 상태 준비 및 해밀토니안 시뮬레이션에 대한 오차 경계가 유도되었으며, 거의 선형 오차 전파를 보여주어 제어 가능한 정밀도 트레이드오프를 가능하게 한다.
• 금속 상태 준비가 효율적이고 해밀토니안이 희박하며 행 계산 가능한 행렬로 주어진다는 가정 하에서 이 방법들은 효율적이다.
• 이 프레임워크는 은닉 단위를 갖는 양자 버르츠만 기계의 완전한 양자 생성적 훈련을 가능하게 하며, 양자 기계 학습 분야에서 주요 열린 문제를 해결한다.