[논문 리뷰] Supervised learning with generalized tensor networks

Ivan Glasser, Nicola Pancotti외 1명|arXiv (Cornell University)|2018. 06. 15.

Computational Physics and Python Applications인용 수 27

한 줄 요약

이 논문은 정보 복제 및 재사용을 허용하는 일반화된 텐서 네트워크를 소개하며, 이는 고차원 데이터에서 효율적인 지도 학습을 가능하게 한다. 제안된 아키텍처는 이미지 및 오디오 분류 작업에서 이전의 텐서 네트워크 방법보다 뛰어난 성능을 보이며, 신경망과 통합하거나 근거리 양자 컴퓨터에 구현할 수 있다.

ABSTRACT

Tensor networks have found a wide use in a variety of applications in physics and computer science, recently leading to both theoretical insights as well as practical algorithms in machine learning. In this work we explore the connection between tensor networks and probabilistic graphical models, and show that it motivates the definition of generalized tensor networks where information from a tensor can be copied and reused in other parts of the network. We discuss the relationship between generalized tensor network architectures used in quantum physics, such as String-Bond States and Entangled Plaquette States, and architectures commonly used in machine learning. We provide an algorithm to train these networks in a supervised learning context and show that they overcome the limitations of regular tensor networks in higher dimensions, while keeping the computation efficient. A method to combine neural networks and tensor networks as part of a common deep learning architecture is also introduced. We benchmark our algorithm for several generalized tensor network architectures on the task of classifying images and sounds, and show that they outperform previously introduced tensor network algorithms. Some of the models we consider can be realized on a quantum computer and may guide the development of near-term quantum machine learning architectures.

연구 동기 및 목표

• 표준 텐서 네트워크가 고차원 데이터를 처리하는 데 한계가 있음을 해결하기 위해 일반화된 텐서 네트워크 구조를 통해 정보 재사용을 가능하게 하여 표현력을 향상시키는 것.
• 양자 물리학의 텐서 네트워크와 기계 학습 아키텍처 사이의 격차를 메우며 이론적 및 실용적 통찰을 통합하는 것.
• 계산 가능성을 유지하면서 일반화된 텐서 네트워크를 사용한 지도 학습을 위한 효율적인 학습 알고리즘을 개발하는 것.
• 텐서 네트워크를 딥 신경망과 통합하여 단일 엔드 투 엔드 학습 가능한 통합 딥 러닝 프레임워크를 만드는 것.
• 일부 모델이 근거리 양자 컴퓨터에서 실현 가능한지 탐색하여 양자 기반 기계 학습 개발을 이끌어내는 것.

제안 방법

• 표준 텐서 네트워크 제약을 초월하여, 텐서 정보가 여러 네트워크 구성 요소 간에 복제되고 재사용될 수 있도록 일반화된 텐서 네트워크를 정의함.
• 양자 물리학에서 유래한 아키텍처(예: 스트링-바인드 상태 및 얽힌 플라켓 상태)를 기계 학습 응용에 적합하게 변형함.
• 기울기 기반 방법을 사용해 텐서 네트워크 파라미터를 최적화하는 미분 가능 학습 알고리즘을 설계함.
• 피드포워드 신경망과 일반화된 텐서 네트워크를 하나의 엔드 투 엔드 학습 가능한 모델에 통합하는 하이브리드 아키텍처를 제안함.
• 예측을 효율적으로 계산하면서도 낮은 계산 비용을 유지하기 위해 텐서 네트워크 수축 기법을 활용함.
• 고전적 하드웨어와 양자 하드웨어 배포를 모두 지원하는 프레임워크를 구현하여 근거리 양자 우월성 탐색을 가능하게 함.

실험 결과

연구 질문

• RQ1 어떻게 하면 텐서 네트워크를 일반화하여 고차원 학습 작업에서 정보 재사용을 지원하고 표현력을 향상시킬 수 있는가?
• RQ2 일반화된 텐서 네트워크가 이미지 및 오디오 분류 벤치마크에서 표준 텐서 네트워크보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ3 양자 물리학의 텐서 네트워크 아키텍처가 고전적 기계 학습 작업에 효과적으로 재사용될 수 있는가?
• RQ4 텐서 네트워크가 통합 딥 러닝 프레임워크 내에서 딥 신경망과 원활하게 통합될 수 있는가?
• RQ5 어떤 일반화된 텐서 네트워크 모델이 근거리 양자 컴퓨터에서 실행 가능한가?

주요 결과

• 일반화된 텐서 네트워크는 이미지 및 오디오 분류 작업에서 표준 텐서 네트워크 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 제안된 학습 알고리즘은 낮은 계산 복잡도를 유지하면서도 일반화된 텐서 네트워크의 효율적 최적화를 가능하게 하였다.
• 특정 일반화된 텐서 네트워크 아키텍처(예: 얽힌 플라켓 상태)는 고차원 입력 공간에서도 강력한 성능을 보였다.
• 신경망과 텐서 네트워크를 통합한 하이브리드 딥 러닝 아키텍처는 단독 모델보다 향상된 일반화 성능을 달성하였다.
• 제안된 일부 모델은 근거리 양자 하드웨어와 호환되어 양자 강화 기계 학습을 위한 길을 열었다.
• 텐서 정보의 복제 및 재사용 기능은 계산 효율성을 희생시키지 않은 채 더 높은 모델 표현력을 가능하게 하였다.