[논문 리뷰] From probabilistic graphical models to generalized tensor networks for supervised learning

Ivan Glasser, Nicola Pancotti외 1명|arXiv (Cornell University)|2018. 06. 15.

Computational Physics and Python Applications인용 수 10

한 줄 요약

이 논문은 일반화된 텐서 네트워크를 소개하여, 높은 차원에서 표준 텐서 네트워크의 한계를 극복하고, 텐서 정보를 네트워크 전반에서 복제하고 재사용할 수 있도록 함으로써 효율적이고 미분 가능한 지도 학습을 가능하게 한다. 이 방법은 이미지 및 오디오 분류 작업에서 기존의 텐서 네트워크(예: 행렬 곱 상태)보다 뛰어난 성능을 보이며, 동시에 고전적으로 효율적이며 양자 기계 학습 아키텍처와 호환된다.

ABSTRACT

Tensor networks have found a wide use in a variety of applications in physics and computer science, recently leading to both theoretical insights as well as practical algorithms in machine learning. In this work we explore the connection between tensor networks and probabilistic graphical models, and show that it motivates the definition of generalized tensor networks where information from a tensor can be copied and reused in other parts of the network. We discuss the relationship between generalized tensor network architectures used in quantum physics, such as string-bond states, and architectures commonly used in machine learning. We provide an algorithm to train these networks in a supervised-learning context and show that they overcome the limitations of regular tensor networks in higher dimensions, while keeping the computation efficient. A method to combine neural networks and tensor networks as part of a common deep learning architecture is also introduced. We benchmark our algorithm for several generalized tensor network architectures on the task of classifying images and sounds, and show that they outperform previously introduced tensor-network algorithms. The models we consider also have a natural implementation on a quantum computer and may guide the development of near-term quantum machine learning architectures.

연구 동기 및 목표

• 정보 복제 및 재사용을 지원하는 일반화된 프레임워크를 도입함으로써 확률적 그래픽 모델과 텐서 네트워크를 연결하는 것.
• 몬테카를로 샘플링에 의존하지 않고, 일반화된 텐서 네트워크를 사용한 효율적이고 미분 가능한 지도 학습 훈련 알고리즘을 개발하는 것.
• 낮은 결합 차원에서 표준 텐서 네트워크(MPS 등)보다 향상된 성능을 보이도록 이미지 및 오디오 분류 작업에서의 성능 향상을 입증하는 것.
• 하이브리드 아키텍처를 통해 텐서 네트워크를 딥 뉴럴 네트워크와 통합하는 것.
• 입력 데이터 복제가 필요한 양자 회로를 모델링함으로써, 근접한 양자 기계 학습을 위한 고전적 벤치마킹 플랫폼을 제공하는 것.

제안 방법

• 다중 지점으로 텐서 요소를 복제할 수 있도록 허용함으로써, 복잡한 기하학적 형태를 유지하면서도 효율적인 수축을 보장하는 일반화된 텐서 네트워크를 제안한다.
• 양자 시뮬레이션에서 사용되는 비용이 많이 드는 몬테카를로 최적화를 피하기 위해, 일반화된 텐서 네트워크의 엔드 투 엔드 훈련을 위한 확률적 경사 하강법을 적응시킨다.
• 두 가지 하이브리드 아키텍처를 도입한다: 하나는 신경망을 통해 특징을 추출한 후 이를 텐서 네트워크에 입력하는 방식이며, 다른 하나는 둘을 하나의 딥 러닝 모델에 통합하는 방식이다.
• 실수형 입력 데이터를 사용하기 위해, 네트워크의 일부로 관련 텐서 특징을 학습함으로써 이미지 및 오디오에의 적용을 가능하게 한다.
• 높은 차원의 데이터 구조에서도 효율적인 수축을 보장하기 위해 계층적 순서를 사용한다.
• 일반화된 텐서 네트워크의 구체적 사례로 스트링 결합 상태(SBS)와 얽힌 플라켓 상태(EPS)를 도입하며, 그 표현력과 효율성을 보여준다.

실험 결과

연구 질문

• RQ1 어떻게 텐서 네트워크를 정보 재사용 및 복제를 지원하도록 확장할 수 있을까? 이는 더 표현력 있는 아키텍처를 가능하게 한다.
• RQ2 일반화된 텐서 네트워크는 이미지 및 오디오 분류와 같은 지도 학습 작업에서 표준 텐서 네트워크보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 몬테카를로 샘플링 없이 일반화된 텐서 네트워크를 효율적으로 훈련시킬 수 있는가? 이는 기계 학습에서 실용적인 응용을 가능하게 한다.
• RQ4 일반화된 텐서 네트워크와 고전적 기계 학습 모델(예: CNN, RBM) 간의 관계는 무엇인가?
• RQ5 어떻게 텐서 네트워크를 단일, 미분 가능한 아키텍처에서 딥 뉴럴 네트워크와 효과적으로 통합할 수 있는가?

주요 결과

• 특히 스트링 결합 상태(SBS)를 포함한 일반화된 텐서 네트워크는 이미지 및 오디오 분류 작업에서 행렬 곱 상태(MPS)보다 더 뛰어난 성능을 보이며, 파라미터 수가 적어도 동일한 성능을 달성한다.
• UrbanSound8K 데이터셋에서 SBS는 4개의 스트링과 결합 차원 5를 사용했을 때, 동일한 파라미터 수를 가진 MPS(결합 차원 10)보다 높은 훈련 정확도를 달성했다.
• SBS 모델은 MPS보다 略적으로 더 우수한 일반화 성능를 보였지만, 훈련 데이터가 제한되어 있어 과적합 현상이 뚜렷했으며, 이는 강력한 표현력의 증거로 간주된다.
• 제안된 훈련 알고리즘은 효율적이고 정확한 수축과 미분 가능한 최적화를 가능하게 하여, 몬테카를로 샘플링의 계산 비용을 피한다.
• 이 방법은 신경망과의 직접 통합을 지원하여, 특징 추출과 텐서 기반 모델링을 결합한 하이브리드 딥 러닝 아키텍처를 가능하게 한다.
• 일반화된 텐서 네트워크는 입력 데이터를 여러 번 복제해야 하는 근접한 양자 기계 학습 회로를 위한 자연스러운 고전적 시뮬레이션 플랫폼을 제공한다.