[논문 리뷰] Evaluating the performance of sigmoid quantum perceptrons in quantum neural networks

Samuel A Wilkinson, Michael J. Hartmann|arXiv (Cornell University)|2022. 08. 12.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 시그모이드 양자 퍼셉트론(SQPs)—고전적 신경망 활성화 함수를 모방하도록 설계된 양자 회로—의 표현력과 성능을 더 단순한 파arametric 양자 회로와 비교하여 평가한다. 고전적 네트워크로부터 유 universal approximation 성질을 물려받음에도 불구하고, SQPs는 고전적 및 양자 학습 과제에서 모두 열등한 성능을 보이며, 이는 NISQ 시대에 비선형 활성화 함수가 양자 우월성을 제공하지 않는다는 것을 시사한다.

ABSTRACT

Quantum neural networks (QNN) have been proposed as a promising architecture for quantum machine learning. There exist a number of different quantum circuit designs being branded as QNNs, however no clear candidate has presented itself as more suitable than the others. Rather, the search for a ``quantum perceptron" -- the fundamental building block of a QNN -- is still underway. One candidate is quantum perceptrons designed to emulate the nonlinear activation functions of classical perceptrons. Such sigmoid quantum perceptrons (SQPs) inherit the universal approximation property that guarantees that classical neural networks can approximate any function. However, this does not guarantee that QNNs built from SQPs will have any quantum advantage over their classical counterparts. Here we critically investigate both the capabilities and performance of SQP networks by computing their effective dimension and effective capacity, as well as examining their performance on real learning problems. The results are compared to those obtained for other candidate networks which lack activation functions. It is found that simpler, and apparently easier-to-implement parametric quantum circuits actually perform better than SQPs. This indicates that the universal approximation theorem, which a cornerstone of the theory of classical neural networks, is not a relevant criterion for QNNs.

연구 동기 및 목표

• 시그모이드 양자 퍼셉트론(SQPs)이 양자 기계학습에서 더 단순한 파arametric 양자 회로보다 의미 있는 양자 우월성을 제공하는지 평가하는 것.
• 고전적 신경망의 유니버설 액세프레이션 성질이 SQPs로 구성된 양자 네트워크로도 의미 있게 확장되는지 조사하는 것.
• SQP 기반 네트워크의 표현력과 성능을 선형 및 유니터리 연산만을 사용하는 네트워크와 비교하여, NISQ 시대 하드웨어 제약 조건 하에서 평가하는 것.
• 고전적 방식의 비선형 활성화 함수를 양자 회로에 구현하는 것이 고전적 및 양자 기계학습 과제에서 성능 향상에 기여하는지 여부를 판단하는 것.

제안 방법

• 저자는 세 가지 QNN 아키텍처를 구축한다: 하나는 시그모이드 양자 퍼셉트론(SQPs) 기반, 하나는 Beer 등(2020)의 깊이 있는 피드포워드 QNN 기반, 나머지 하나는 단일 큐비트 Y-회전과 CNOT 게이트만을 사용.
• 통계역학과 정보 기하학에서 유도된 지표를 사용하여 각 네트워크의 유효 차원과 유효 용량을 계산하여 표현력을 정량화한다.
• 각 아키텍처의 성능을 실제 학습 과제—예를 들어 고전적 이미지 분류와 양자 유니터리안 학습—에서 평가한다.
• SQP는 입력 상태를 출력 상태로 매핑하는 유니터리 연산으로 모델링되며, 이때 목표 큐비트의 비틀림 확률이 입력 가중치와 편향의 시그모이드 함수에 따라 결정된다.
• 이 프로토콜은 시간에 따라 변하는 이징형 해밀토니안 하에서의 등온 진동에 기반하며, 시그모이드 함수는 시스템의 순간 고유상태의 등온 진동에서 유도된다.
• 최종 유니터리 연산은 시스템의 등온 진동에서 유도되며, 이에 따라 각 입력 기저 상태가 입력의 가중치 합의 시그모이드에 따라 변하는 진폭을 갖는 초위상 상태로 진화한다.

실험 결과

연구 질문

• RQ1 시그모이드 양자 퍼셉트론(SQPs)이 더 단순한 파arametric 양자 회로보다 표현력을 크게 향상시키는가?
• RQ2 고전적 신경망의 유니버설 액세프레이션 성질이 SQPs로 구성된 양자 네트워크로도 의미 있게 유지되는가?
• RQ3 SQP 기반 네트워크는 NISQ 환경에서 고전적 학습 과제(예: 이미지 분류)와 양자 과제(예: 유니터리안 학습)에서 어떻게 성능을 내는가?
• RQ4 양자 회로에 비선형 활성화 함수를 포함하는 것이 기계학습에서 양자 우월성을 달성하는 데 필수적이거나 유익한가?
• RQ5 유효 차원, 유효 용량, 실제 학습 성능 측면에서 SQPs가 더 단순하고 하드웨어 효율적인 양자 회로를 능가할 수 있는가?

주요 결과

• 고전적 네트워크로부터 유니버설 액세프레이션 성질을 물려받음에도 불구하고, 유효 차원과 유효 용량 측정 기준으로 볼 때 SQP 기반 QNN는 더 단순한 파arametric 양자 회로보다 표현력이 떨어진다.
• 입력과 출력이 모두 양자 상태인 유니터리안 학습과 같은 양자 기계학습 과제에서 SQP 네트워크는 성능이 열 劣하며, 이는 제한된 양자 우월성을 시사한다.
• 이미지 분류와 같은 고전적 학습 과제에서는 SQPs가 고전적 신경망을 모방할 수 있지만, 여전히 더 단순한 변량 양자 회로보다 성능이 열 劣하다.
• 연구는 단순하고 하드웨어 효율적인 파arametric 양자 회로—단일 큐비트 Y-회전과 CNOT 게이트만으로 구성—가 표현력과 학습 성능 측면에서 SQP 네트워크를 모두 능가함을 발견했다.
• 유니버설 액세프레이션 정리는 고전적 딥 러닝에서 기초적인 이론이지만, NISQ 시대의 양자 신경망 설계 원칙으로서는 신뢰할 수 없다.
• 결과적으로, 근접한 시대의 기계학습에서 고전적 방식의 비선형 활성화 함수를 양자 회로에 도입하는 것은 성능 향상이나 양자 우월성으로 이어지지 않기 때문에 유익하지 않다는 것이 제안된다.