[논문 리뷰] Machine Learning by Two-Dimensional Hierarchical Tensor Networks: A Quantum Information Theoretic Perspective on Deep Architectures

Ding Liu, Shi-Ju Ran외 5명|arXiv (Cornell University)|2017. 10. 13.

Quantum many-body systems인용 수 12

한 줄 요약

이 논문은 이미지 인식을 위해 MERA 유사 알고리즘으로 훈련되는 이차원 계층적 텐서 네트워크(2D-HTN)를 제안하며, 이는 이전의 일차원 텐서 네트워크에 비해 향상된 확장성을 달성한다. 훈련 중 유니타리성을 유지함으로써 이 방법은 이미지 클래스를 양자 다체계 상태로 인코딩하며, 학습 과제의 내재된 특성으로 엔트로피 및 허밀토니안의 일관성과 같은 새로운 양자 특성들을 드러낸다.

ABSTRACT

The resemblance between the methods used in studying quantum-many body physics and in machine learning has drawn considerable attention. In particular, tensor networks (TNs) and deep learning architectures bear striking similarities to the extent that TNs can be used for machine learning. Previous results used one-dimensional TNs in image recognition, showing limited scalability and a high bond dimension. In this work, we train two-dimensional hierarchical TNs to solve image recognition problems, using a training algorithm derived from the multipartite entanglement renormalization ansatz (MERA). This approach overcomes scalability issues and implies novel mathematical connections among quantum many-body physics, quantum information theory, and machine learning. While keeping the TN unitary in the training phase, TN states can be defined, which optimally encodes each class of the images into a quantum many-body state. We study the quantum features of the TN states, including quantum entanglement and fidelity. We suggest these quantities could be novel properties that characterize the image classes, as well as the machine learning tasks. Our work could be further applied to identifying possible quantum properties of certain artificial intelligence methods.

연구 동기 및 목표

• 기존 일차원 텐서 네트워크의 확장성 한계를 해결하기 위해.
• 양자 다체계 물리학과 딥 러닝 아키텍처 간의 관계를 탐색하기 위해.
• 계층적 텐서 네트워크를 위한 MERA 형식에서 유도된 훈련 알고리즘 개발하기 위해.
• 양자 정보 이론적 특성(예: 엔트로피, 일관성)이 학습된 이미지 클래스를 특성화할 수 있는지 조사하기 위해.

제안 방법

• 이미지 데이터를 모델링하기 위해 이차원 계층적 텐서 네트워크(2D-HTN) 아키텍처를 사용하기 위해.
• 효율적 최적화를 위해 다체계 얽힘의 재규격화 안자(MERA)에 영감을 받은 훈련 알고리즘을 사용하기 위해.
• 안정적인 상태 진화를 보장하기 위해 훈련 중 텐서 네트워크의 유니타리성을 유지하기 위해.
• 각 이미지 클래스를 양자 다체계 상태로 최적으로 인코딩하는 텐서 네트워크 상태 정의하기 위해.
• 클래스 상태 간의 엔트로피 및 일관성과 같은 양자 특성 분석하기 위해.
• 양자 정보 이론, 텐서 네트워크, 딥 러닝 간의 수학적 연결 설정하기 위해.

실험 결과

연구 질문

• RQ1 이차원 계층적 텐서 네트워크는 일차원 TN에 비해 이미지 인식의 확장성과 정확도에서 뛰어나게 되는가?
• RQ2 텐서 네트워크 상태에서의 양자 얽힘과 일관성은 이미지 클래스 식별과 어떻게 관련되는가?
• RQ3 양자 정보 이론적 측정치가 기계 학습 과제의 내재된 특성으로 얼마나 잘 기능할 수 있는가?
• RQ4 MERA 기반 훈련 프레임워크는 유니타리성을 유지하면서도 텐서 네트워크에서 효과적인 학습을 가능하게 할 수 있는가?
• RQ5 텐서 네트워크 형식을 통해 양자 다체계 물리학과 딥 러닝을 통합함으로써 어떤 새로운 통찰이 도출되는가?

주요 결과

• 2D-HTN 접근법은 이미지 인식 과제에서 이전의 일차원 텐서 네트워크에 비해 향상된 확장성을 보였다.
• 훈련 중 유니타리 진동은 안정적이고 해석 가능한 이미지 클래스의 양자 다체계 상태로의 인코딩을 가능하게 했다.
• 텐서 네트워크 상태에서의 양자 얽힘과 일관성은 분류 성능와 상관관계가 있는 측정 가능한, 과제에 특화된 특성으로 나타났다.
• 이 방법은 양자 정보 이론, 텐서 네트워크, 딥 러닝 아키텍처 간의 새로운 수학적 연결을 드러냈다.
• 연구 결과에 따르면 엔트로피와 같은 양자 특성들이 기계 학습 과제와 데이터 클래스의 내재적 묘사자로 기능할 수 있음을 시사한다.