[논문 리뷰] Number-State Preserving Tensor Networks as Classifiers for Supervised Learning

Glen Evenbly|arXiv (Cornell University)|2019. 05. 15.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 수 상태를 유지하는 텐서 네트워크—입력 인덱스의 포크 수 상태를 출력 인덱스의 수 상태로 매핑하는 텐서로 구성된—효율적이고 해석 가능한 분류기로서 지도 학습을 위한 제안을 한다. 변환 과정에서 고전적 데이터 구조를 유지하고 인과적 코어 압축을 통해 효율적인 훈련을 가능하게 함으로써, 이전에는 다루기 어려웠던 네트워크, 예를 들어 MERA와 같은 구조를 이미지 인식과 같은 과제에 대해 계산적으로 실현 가능하게 만들며, 최소한의 계산 부담으로 기준 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

We propose a restricted class of tensor network state, built from number-state preserving tensors, for supervised learning tasks. This class of tensor network is argued to be a natural choice for classifiers as (i) they map classical data to classical data, and thus preserve the interpretability of data under tensor transformations, (ii) they can be efficiently trained to maximize their scalar product against classical data sets, and (iii) they seem to be as powerful as generic (unrestricted) tensor networks in this task. Our proposal is demonstrated using a variety of benchmark classification problems, where number-state preserving versions of commonly used networks (including MPS, TTN and MERA) are trained as effective classifiers. This work opens the path for powerful tensor network methods such as MERA, which were previously computationally intractable as classifiers, to be employed for difficult tasks such as image recognition.

연구 동기 및 목표

• 고전적 데이터를 위한 텐서 네트워크를 분류기로 사용할 때 발생하는 해석 가능성과 계산의 비가역성 문제를 해결하기 위해.
• 일반적인 텐서 네트워크가 고전적 곱 상태를 얽힌 양자 상태로 매핑함으로써 고전적 해석 가능성이 훼손되는 문제를 해결하기 위해.
• 특히 MERA와 같은 복잡한 텐서 네트워크의 효율적 훈련을 위해 수 상태 유지 텐서로 제한함으로써 가능하게 하기 위해.
• 이 제한된 텐서 네트워크 클래스가 기준 분류 과제에서 제약이 없는 네트워크와 동일한 성능을 내는지 보여주기 위해.
• MERA와 같은 강력한 텐서 네트워크 아키텍처가 실용적인 기계 학습 응용 분야, 예를 들어 이미지 인식에 사용될 수 있도록 길을 열기 위해.

제안 방법

• 이 방법은 수 상태 유지 텐서로 구성된 제한된 텐서 네트워크 클래스를 사용하며, 이는 입력 인덱스의 포크 수 상태를 출력 인덱스의 수 상태로 매핑한다.
• 훈련 데이터와의 스칼라 곱을 효율적으로 계산하기 위해, 수 상태에 대해 수축할 때 인과적 코어 구조를 활용한다.
• 훈련 알고리즘은 동적 프로그래밍을 통한 효율적 환경 평가를 사용하여, 레이블이 붙은 훈련 데이터와의 스칼라 곱을 최대화하도록 네트워크를 최적화한다.
• 수 상태 유지 네트워크의 인과적 구조를 활용함으로써, 기울기 기반 최적화의 핵심 단계인 단일 텐서 환경 평가를 효율적으로 수행할 수 있다.
• 이 방법은 MPS, TTN, MERA와 같은 표준 아키텍처에 적용되며, 수 상태 유지하도록 조정되고 표준 지도 학습 목표를 사용해 훈련된다.
• 계산 비용은 유리하게 스케일링된다—예를 들어 2D 수 상태 유지 MERA의 경우 O(χ⁸)이며, 등급 보존 MERA의 O(χ¹⁶)에 비해 훨씬 낮아져 더 큰 결합 차수를 같은 계산 예산 내에서 가능하게 한다.

실험 결과

연구 질문

• RQ1 수 상태 유지 텐서 네트워크는 지도 학습을 위한 효율적 훈련을 가능하게 하면서도 해석 가능성을 유지할 수 있는가?
• RQ2 텐서 네트워크를 수 상태 유지 텐서로 제한함으로써 분류 과제에 필요한 충분한 표현 능력을 유지할 수 있는가?
• RQ3 이러한 제한을 통해 이전에는 계산적으로 비가능한 텐서 네트워크, 예를 들어 MERA를 분류기로 사용할 수 있도록 만들 수 있는가?
• RQ4 기준 기준에서 수 상태 유지 네트워크의 성능은 제약이 없는 네트워크와 비교해 어떻게 되는가?
• RQ5 수 상태 유지 네트워크가 표준 등급 보존 텐서 네트워크에 비해 훈련 시 계산 스케일링에서 어떤 이점이 있는가?

주요 결과

• 수 상태 유지 텐서 네트워크는 변환 과정에서 고전적 데이터 구조를 유지하여, 입력과 출력이 모두 고전적 수 상태로 남기 때문에 해석 가능성을 보장한다.
• 수 상태 유지 네트워크의 인과적 코어 구조는 훈련 데이터와의 스칼라 곱을 효율적으로 평가할 수 있게 하여, MERA와 같은 복잡한 네트워크의 훈련을 가능하게 한다.
• 이 방법은 이전에 계산적으로 비가능했던 MERA 유사 네트워크의 효율적 훈련을 가능하게 하며, 분류 과제에 적용할 수 있다.
• 기준 결과에서는 MPS, TTN, MERA의 수 상태 유지 변형이 기준 분류 문제에서 뛰어난 성능을 내며, 제약이 없는 네트워크와 유사한 성능을 보였다.
• 2D MERA의 경우 최적화 비용은 O(χ⁸)로 스케일링되며, 등급 보존 MERA의 O(χ¹⁶)에 비해 제곱근 수준의 향상으로 동일한 계산 예산 내에서 더 큰 결합 차수를 가능하게 한다.
• 이 방법은 훈련 샘플에 대한 환경 평가를 병렬화할 수 있게 하여, 큰 훈련 세트의 비용을 완화한다.