[논문 리뷰] A Quantum Model for Multilayer Perceptron

Changpeng Shao|arXiv (Cornell University)|2018. 08. 31.

Quantum Computing Algorithms and Architecture참고 문헌 16인용 수 15

한 줄 요약

이 논문은 양자 상태 준비와 새로운 병렬 스왑 테스트 기법을 사용하여 다층 퍼셉트론(MLP)의 양자 모델을 제안하며, 이는 고전적 학습 알고리즘보다 최소 제곱, 경우에 따라 지수적 속도 향상을 달성한다. 이 방법은 입력 및 가중치 벡터를 양자 상태로 인코딩하고, 양자 확률 추정과 제어 연산을 활용하여 비선형 활성화 함수를 효율적으로 계산하고 가중치를 갱신함으로써 양자 MLP의 빠른 학습을 가능하게 하며, 히브시안 학습에서 히브시안 네트워크의 지수적 속도 향상을 실현한다.

ABSTRACT

Multilayer perceptron is the most common used class of feed-forward artificial neural network. It contains many applications in diverse fields such as speech recognition, image recognition, and machine translation software. To cater for the fast development of quantum machine learning, in this paper, we propose a new model to study multilayer perceptron in quantum computer. This contains the tasks to prepare the quantum state of the output signal in each layer and to establish the quantum version of learning algorithm about the weights in each layer. We will show that the corresponding quantum versions can achieve at least quadratic speedup or even exponential speedup over the classical algorithms. This provide us an efficient method to study multilayer perceptron and its applications in machine learning in quantum computer. Finally, as an inspiration, an exponential fast learning algorithm (based on Hebb's learning rule) of Hopfield network will be proposed.

연구 동기 및 목표

• 비선형 활성화 함수와 가중치 학습을 양자 계산 프레임워크 내에서 통합하는 다층 퍼셉트론의 양자 모델을 개발하는 것.
• 새로운 양자 기법인 병렬 스왑 테스트를 사용하여 양자 알고리즘에서의 비선형성 문제를 해결함으로써 내적 곱과 비선형 함수의 효율적 계산을 가능하게 하는 것.
• 고전적 MLP 학습 알고리즘에 비해 출력 계산 및 가중치 갱신 과정에서의 속도 향상을 크게 달성하는 것.
• 이 프레임워크를 양자 히브시안 네트워크로 확장하여 동일한 핵심 기법을 사용해 히브시안 학습에서 지수적 속도 향상을 입증하는 것.

제안 방법

• 입력 및 가중치 벡터는 |x⟩ = (1/‖x‖)∑x_i|i⟩ 및 |w⟩ = (1/‖w‖)∑w_i|i⟩ 형태로 양자 상태로 인코딩되어 초위상 기반 처리를 가능하게 한다.
• 병렬 스왑 테스트를 사용하여 다중 큐비트 쌍을 통해 ⟨x|w⟩ 내적 곱을 병렬로 계산함으로써 가중치 합의 효율적 추정이 가능하다.
• 비선형 활성화 함수(예: 시그모이드 또는 임계값)는 추정된 내적 곱에 조건부로 작용하는 회전 연산을 통해 실현되며, HHL 알고리즘을 영감으로 삼는다.
• 가중치 갱신은 애너일라 큐비트 상에서 제어 유니타리 연산을 통해 인코딩된 양자 버전의 온라인 및 배치 학습 방식을 사용하여 수행된다.
• 히브시안 네트워크의 학습 규칙은 입력 및 가중치 상태의 초위상 조합을 사용하여 모든 가중치 갱신을 동시에 계산할 수 있도록 적응시켰다.
• 전체 과정은 유니타리성과 양자 중첩을 유지하도록 설계되어 양자 회로 모델과의 호환성을 확보하며, 특정 조건 하에서 지수적 속도 향상을 실현한다.

실험 결과

연구 질문

• RQ1 비선형 활성화 함수와 학습 역학을 유지하면서 양자 컴퓨터에서 다층 퍼셉트론을 효과적으로 모델링할 수 있는가?
• RQ2 양자 버전의 다층 퍼셉트론이 고전적 학습 알고리즘에 비해 특히 가중치 갱신 및 출력 계산에서 속도 향상을 달성할 수 있는가?
• RQ3 병렬 스왑 테스트 기법이 양자 신경망에서 내적 곱과 비선형 함수의 효율적이고 확장 가능한 계산을 가능하게 하는가?
• RQ4 동일한 양자 프레임워크를 히브시안 네트워크와 같은 다른 신경망 모델로 확장하여 학습에서 지수적 속도 향상을 달성할 수 있는가?
• RQ5 기울기 기반 및 히브시안 학습 규칙을 유니타리하고 양자 중첩을 유지하는 양자 계산 프레임워크 내에서 구현하기 위해 필요한 양자 알고리즘 원천 기반 기능은 무엇인가?

주요 결과

• 제안된 다층 퍼셉트론의 양자 모델은 고전적 알고리즘 대비 출력 신호 계산 및 가중치 갱신 학습에서 최소 제곱 속도 향상을 달성한다.
• 병렬 스왑 테스트의 사용은 내적 곱과 비선형 함수의 효율적 추정을 가능하게 하며, 양자 MLP의 계산적 우월성의 핵심을 형성한다.
• 히브시안 네트워크의 경우, 양자 히브시안 학습 규칙이 고전적 대안에 비해 지수적 속도 향상을 달성한다. 특히 입력 뉴런 수가 많을수록 두드러진다.
• 입력 및 가중치 벡터의 양자 상태 준비에는 O(log n) 큐비트만 필요하여, n개의 입력에 대해 n개의 큐비트를 사용하는 기존 모델에 비해 뚜렷한 이점이 있다.
• 온라인 및 배치 학습 모드를 모두 지원하며, 학습 과정이 양자 중첩을 유지하도록 유니타리하게 인코딩되어 있다.
• 비선형 신경 동역학을 양자 계산에 통합할 수 있음을 입증하여, 양자 기계 학습의 새로운 길을 열어 놓았다.