[논문 리뷰] Shortcut Matrix Product States and its applications

Zhuan Li, Pan Zhang|arXiv (Cornell University)|2018. 12. 13.

Tensor decomposition and applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 표준 행렬 곱 상태(MPS)의 고유한 지수적 상관관계 감쇠 문제를 해결하기 위해 먼 거리에 있는 텐서 간의 장거리 숏컷 연결을 추가함으로써 성능을 향상시킨 새로운 텐서 네트워크 아키텍처인 숏컷 행렬 곱 상태(SMPS)를 소개한다. 상관관계 분석에 기반해 전략적으로 숏컷을 배치함으로써 SMPS는 고차원 데이터에서 장거리 의존성을 크게 향상시켜, 함수 피팅, 이징 모델의 분할 함수 계산, MNIST 숫자의 생성 모델링 등에서 기존 MPS보다 뛰어난 성능을 달성한다.

ABSTRACT

Matrix Product States (MPS), also known as Tensor Train (TT) decomposition in mathematics, has been proposed originally for describing an (especially one-dimensional) quantum system, and recently has found applications in various applications such as compressing high-dimensional data, supervised kernel linear classifier, and unsupervised generative modeling. However, when applied to systems which are not defined on one-dimensional lattices, a serious drawback of the MPS is the exponential decay of the correlations, which limits its power in capturing long-range dependences among variables in the system. To alleviate this problem, we propose to introduce long-range interactions, which act as shortcuts, to MPS, resulting in a new model extit{ Shortcut Matrix Product States} (SMPS). When chosen properly, the shortcuts can decrease significantly the correlation length of the MPS, while preserving the computational efficiency. We develop efficient training methods of SMPS for various tasks, establish some of their mathematical properties, and show how to find a good location to add shortcuts. Finally, using extensive numerical experiments we evaluate its performance in a variety of applications, including function fitting, partition function calculation of $2-$d Ising model, and unsupervised generative modeling of handwritten digits, to illustrate its advantages over vanilla matrix product states.

연구 동기 및 목표

• 행렬 곱 상태(MPS)가 지수적 감쇠로 인해 장거리 상관관계를 포착하는 데에 기초적인 제약가지기 때문에 이를 해결하기 위해.
• 장거리 의존성을 유지하면서도 계산 가능성을 유지하는 스케일러블하고 효율적인 텐서 네트워크 변종을 개발하기 위해.
• 상관관계 유지 최적화를 위해 텐서 네트워크 내 최적의 숏컷 위치를 선정하는 체계적인 방법을 제공하기 위해.
• 함수 피팅, 통계역학, 비지도 생성 모델링 등 다양한 응용 분야에서 SMPS의 유효성을 입증하기 위해.
• SMPS의 이론적 및 알고리즘적 기초를 확립하기 위해, 분해 및 훈련 절차를 포함하여.

제안 방법

• 비접속된 텐서 간의 연결을 가능하게 하는 숏컷 텐서를 도입하여, 장거리 얽힘과 상관관계 전파를 가능하게 한다.
• 기본 MPS의 상관관계 분석을 활용해, 상관관계가 약한 영역에 초점을 맞춰 숏컷 삽입에 최적의 위치를 식별한다.
• 숏컷에 의해 유도된 경로를 고려한 수정된 텐서 네트워크 수축 알고리즘을 개발하여 계산 효율성을 유지한다.
• 생성 모델링에서의 음의 로그우도나 이징 모델 시뮬레이션에서의 에너지 오차와 같은 응용 분야별 손실 함수를 사용해 기울기 기반 훈련을 구현한다.
• 숏컷으로 인해 깨진 캐논리컬 조건을 처리하기 위해 수정된 방법을 사용해 SMPS에 캐논리컬 형식 기법을 적응시킨다.
• 원시 고차원 텐서에서 SMPS를 초기화하고 훈련하기 위해 순차적 특이값 분해(SVD) 기반의 분해 전략을 사용한다.

실험 결과

연구 질문

• RQ1 MPS에서 상관관계 감쇠를 가장 효과적으로 줄이고 모델 성능을 향상시키기 위해 숏컷을 어디에 배치해야 하는가?
• RQ2 이미지나 2D 스핀 시스템과 같은 1D가 아닌 시스템에서 SMPS는 표준 MPS보다 더 높은 표현 능력을 가지는가?
• RQ3 숏컷의 포함이 텐서 네트워크 모델의 계산 복잡도와 훈련 효율성에 어떤 영향을 미치는가?
• RQ4 SMPS는 MNIST의 여러 숫자 클래스와 같은 복잡한 데이터 구조를 부분적인 MPS 구성요소를 통해 얼마나 잘 포착하고 재구성할 수 있는가?
• RQ5 2D 이징 모델과 같은 통계역학적 모델에서 SMPS는 자유 에너지나 비열과 같은 물리적 관측량을 더 정확하게 추정할 수 있는가?

주요 결과

• SMPS는 표준 MPS가 표현하지 못하는 장거리 의존성을 크게 향상시켜 상관관계 길이를 크게 증가시키며, 특히 이미지와 같은 2D 데이터에서 뚜렷한 효과를 보인다.
• 기본 MPS의 상관관계 맵을 활용한 숏컷 배치는 효과적이며, 예를 들어 숫자 이미지의 반대쪽 모서리와 같은 상관관계가 낮은 영역에서 최적의 위치를 찾을 수 있었다.
• 비지도 생성 모델링에서 MNIST 숫자를 대상으로 SMPS는 MPS보다 낮은 음의 로그우도를 기록하여 데이터 분포와 의존성을 더 잘 포착하고 있음을 시사한다.
• 2D 이징 모델 시뮬레이션에서 SMPS는 자유 에너지, 에너지, 비열의 추정치를 MPS보다 더 정확하게 제공하며 정확한 결과에 가까워진다.
• SMPS는 여러 개의 부분 MPS 구성요소로 분해될 수 있으며, 각각은 특정 숫자 클래스와 같은 별개의 데이터 패턴을 포착할 수 있어, 복잡하고 다중모달 데이터를 표현할 수 있음을 보여준다.
• 성능 향상에도 불구하고 숏컷의 존재로 인해 캐논리컬 형식이 깨지며, 특히 두 사이트 업데이트 동안 정규화 및 분할 함수 계산에 계산 비용이 증가한다.