[논문 리뷰] Quantum-Classical Machine learning by Hybrid Tensor Networks

Ding Liu, Yao, Jiaqi외 2명|arXiv (Cornell University)|2020. 05. 15.

Quantum many-body systems참고 문헌 37인용 수 5

한 줄 요약

이 논문은 기존 텐서 네트워크의 한계를 극복하기 위해 고전적 신경망과 텐서 네트워크를 통합한 통합된 딥러닝 프레임워크인 하이브리드 텐서 네트워크(HTN)를 제안한다. 신경망 단위를 통해 비선형 활성화 함수를 도입함으로써 HTN는 보편적 근사 능력을 확보하고, 역전파와 확률적 경사 하강법을 통한 엔드 투 엔드 학습을 가능하게 하여 양자-고전적 학습 과제, 예를 들어 양자 상태 분류 및 양자 데이터의 오토에코딩에서 뛰어난 성능을 보인다.

ABSTRACT

Tensor networks (TN) have found a wide use in machine learning, and in particular, TN and deep learning bear striking similarities. In this work, we propose the quantum-classical hybrid tensor networks (HTN) which combine tensor networks with classical neural networks in a uniform deep learning framework to overcome the limitations of regular tensor networks in machine learning. We first analyze the limitations of regular tensor networks in the applications of machine learning involving the representation power and architecture scalability. We conclude that in fact the regular tensor networks are not competent to be the basic building blocks of deep learning. Then, we discuss the performance of HTN which overcome all the deficiency of regular tensor networks for machine learning. In this sense, we are able to train HTN in the deep learning way which is the standard combination of algorithms such as Back Propagation and Stochastic Gradient Descent. We finally provide two applicable cases to show the potential applications of HTN, including quantum states classification and quantum-classical autoencoder. These cases also demonstrate the great potentiality to design various HTN in deep learning way.

연구 동기 및 목표

• 기존 텐서 네트워크의 기본적 한계, 특히 비선형 활성화 기능 부족과 낮은 확장성 문제를 해결하기 위해.
• 고전적 신경망과 텐서 네트워크를 유연하게 통합할 수 있는 통합된 딥러닝 프레임워크를 개발하여 표현 능력을 향상시키기 위해.
• 역전파와 확률적 경사 하강법과 같은 표준 딥러닝 알고리즘을 사용해 하이브리드 아키텍처를 엔드 투 엔드로 학습시킬 수 있도록 하기 위해.
• HTN의 잠재력을 양자-고전적 머신러닝 분야에서 탐색하기 위해, 특히 양자 상태 분류 및 양자 데이터 오토에코딩을 포함하여.
• 하이브리드 양자-고전 모델에서 얽힘과 신뢰도를 활용해 양자 특징 공 ingeneering의 기반을 마련하기 위해.

제안 방법

• 기본 신경망(예: FCN, CNN, RNN)과 텐서 네트워크(예: MPS, PEPS, TTN)의 임의의 조합이 가능한 하이브리드 텐서 네트워크(HTN)를 위한 보편적 프레임워크를 제안한다.
• 기존 텐서 네트워크의 보편적 근사 한계를 극복하기 위해 고전적 신경망 레이어를 통해 비선형 활성화 함수를 도입한다.
• HTN 전체 아키텍처의 엔드 투 엔드 학습을 위해 표준 딥러닝 최적화 기법—역전파와 확률적 경사 하강법—을 적용한다.
• 모듈러한 구성 요소를 설계하여 네트워크의 어느 단계에서든 텐서 네트워크 구조와 신경망 레이어를 자유롭게 통합할 수 있도록 한다.
• 특히 곱 상태와 얽힌 상태에 대해, 텐서 네트워크 분해(예: TTN)를 사용해 양자 상태와 과정을 표현한다.
• 압축 비율에 따라 변하는 중간 표현 척도를 고려하기 위해 그리드 기반 압축을 사용하고, 재구성 품질 평가에 PSNR 및 신뢰도 지표를 활용한다.

실험 결과

연구 질문

• RQ1 비선형 신경망 구성 요소와 통합된 텐서 네트워크가 머신러닝에서 보편적 근사기로 기능할 수 있는가?
• RQ2 텐서 네트워크와 신경망의 하이브리드 아키텍처는 기존 텐서 네트워크에 비해 확장성과 표현 능력 측면에서 어떻게 향상되는가?
• RQ3 HTN이 기울기 기반 엔드 투 엔드 학습 방식을 통해 양자 상태, 특히 얽힌 상태와 곱 상태를 얼마나 효과적으로 학습하고 재구성할 수 있는가?
• RQ4 HTN이 양자 특징 공학의 실현 가능한 프레임워크로 기능할 수 있는가, 특히 얽힘과 신뢰도 같은 양자 성질을 추출하고 활용하는 데서?
• RQ5 HTN의 성능은 다양한 데이터 세트(예: MNIST, Fashion-MNIST)에서 실제 과제, 즉 양자 상태 분류 및 양자 오토에코딩에서 어떻게 평가되는가?

주요 결과

• 기존 텐서 네트워크는 비선형 활성화 기능이 없어 보편적 근사기로 기능하지 못하며, 낮은 확장성으로 인해 딥러닝의 구축 블록으로서의 활용이 제한된다.
• HTN는 고전적 신경망 단위를 통해 비선형 활성화를 통합함으로써 이러한 한계를 극복하고 보편적 근사 능력과 향상된 표현 능력을 확보한다.
• HTN는 역전파와 확률적 경사 하강법과 같은 표준 딥러닝 알고리즘을 사용해 엔드 투 엔드 학습을 지원하여, 더 유연하고 확장 가능한 아키텍처 설계를 가능하게 한다.
• 양자 상태 분류 과제에서 HTN는 높은 정확도를 달성하여 곱 상태와 얽힌 상태를 효과적으로 처리할 수 있음을 입증한다.
• MNIST와 Fashion-MNIST에 대한 양자-고전 오토에코더 실험에서, HTN는 더 큰 중간 표현 그리드(예: 8×8)에서 더 높은 PSNR 점수를 기록하여 더 높은 재구성 신뢰도를 확보한다.
• HTN는 압축 비율과 재구성 품질 사이의 균형 잡힌 무게 조정을 가능하게 하며, 더 작은 그리드(예: 2×2)는 더 높은 압축 비율을 달성하지만 PSNR는 낮아지므로, 양자 정보 처리 분야에서의 실용적 유용성을 입증한다.