[논문 리뷰] Entanglement and Tensor Networks for Supervised Image Classification

John R. C. Martyn, Guifré Vidal외 2명|arXiv (Cornell University)|2020. 07. 12.

Computational Physics and Python Applications인용 수 9

한 줄 요약

이 논문은 MNIST 숫자를 사용한 지도 학습 이미지 분류를 위한 텐서 네트워크 모델에서의 얽힘을 조사한다. 장거리 얽힘은 필수적이지 않음을 발견했는데, 국소적 얽힘을 가진 블록 제품 상태(n×n 블록)는 n=2일 때조차도 훈련 정확도 99.97%를 달성하지만, 과적합 문제로 인해 일반화 능력에 한계가 있음을 시사한다. 이는 현재의 접근 방식을 넘어서 보다 향상된 최적화가 일반화를 가능하게 한다는 것을 의미한다.

ABSTRACT

Tensor networks, originally designed to address computational problems in quantum many-body physics, have recently been applied to machine learning tasks. However, compared to quantum physics, where the reasons for the success of tensor network approaches over the last 30 years is well understood, very little is yet known about why these techniques work for machine learning. The goal of this paper is to investigate entanglement properties of tensor network models in a current machine learning application, in order to uncover general principles that may guide future developments. We revisit the use of tensor networks for supervised image classification using the MNIST data set of handwritten digits, as pioneered by Stoudenmire and Schwab [Adv. in Neur. Inform. Proc. Sys. 29, 4799 (2016)]. Firstly we hypothesize about which state the tensor network might be learning during training. For that purpose, we propose a plausible candidate state $|Σ_{\ell} angle$ (built as a superposition of product states corresponding to images in the training set) and investigate its entanglement properties. We conclude that $|Σ_{\ell} angle$ is so robustly entangled that it cannot be approximated by the tensor network used in that work, which must therefore be representing a very different state. Secondly, we use tensor networks with a block product structure, in which entanglement is restricted within small blocks of $n imes n$ pixels/qubits. We find that these states are extremely expressive (e.g. training accuracy of $99.97 \%$ already for $n=2$), suggesting that long-range entanglement may not be essential for image classification. However, in our current implementation, optimization leads to over-fitting, resulting in test accuracies that are not competitive with other current approaches.

연구 동기 및 목표

• 텐서 네트워크가 기계 학습, 특히 이미지 분류에서 성공하는 이유를 분석하기 위해 그들의 얽힘 성질을 연구하는 것.
• 텐서 네트워크가 훈련 이미지의 합 상태를 학습하는지 여부를 조사하는 것, 이 경우 막대한 얽힘을 요구할 것이다.
• 얽힘을 작은 블록(n×n 픽셀)으로 제한함으로써 높은 성능를 유지하면서 일반화 능력을 향상시킬 수 있는지 테스트하는 것.
• 이미지 분류를 위한 텐서 네트워크 모델에서 과적합을 줄이기 위한 구조적 및 최적화 개선 사항을 규명하는 것.

제안 방법

• 모든 클래스 ℓ의 훈련 이미지의 초위상으로 정의된 합 상태 |Σℓ⟩를 텐서 네트워크가 학습하는 상태의 후보로 제안한다.
• |Σℓ⟩의 얽힘 엔트로피를 분석하고, 이를 근사하기 위해 χ ≈ 6,000의 결합 차원이 필요함을 보이며, 일반적인 MPS의 결합 차원(χ ≤ 120)보다 훨씬 높음을 시사한다.
• n×n 픽셀 블록 내에서만 얽힘을 제한하는 블록 제품 상태(BPS)를 도입하여 효율적인 계산과 제어 가능한 얽힘을 가능하게 한다.
• BPS를 표현하기 위해 블록 구조를 가진 텐서를 사용한 매트릭스 곱 상태(MPS) 아키텍처를 사용하며, 손실 함수에 대한 경사 하강법을 통해 최적화를 수행한다.
• 경계에서 결합 차원 >2를 사용하는 중복 매개변수화를 통해 일반화 능력을 향상시키며, 이로 인해 테스트 정확도가 향상됨을 관측한다.
• 다양한 블록 크기(n=2,3,4)와 결합 차원(χ)에 대해 훈련 정확도와 테스트 정확도를 비교하여 과적합과 표현 능력을 평가한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 제안된 텐서 네트워크 모델(Stoudenmire와 Schwab, 2016)이 클래스 ℓ의 모든 훈련 이미지의 합 상태 |Σℓ⟩를 근사하고 있는가?
• RQ2 이미지 분류 작업에서 실제로 텐서 네트워크가 학습하는 상태의 얽힘 구조는 어떠한가?
• RQ3 얽힘을 국소적 n×n 블록으로 제한해도 높은 분류 정확도를 유지할 수 있는가?
• RQ4 현재의 텐서 네트워크 모델이 이미지 분류에서 과적합되는 이유는 무엇이며, 최적화는 어떻게 향상시킬 수 있는가?

주요 결과

• 학습된 상태의 타당한 후보인 합 상태 |Σℓ⟩는 매우 높은 수준의 얽힘을 가지며, χ ≤ 120인 MPS로는 근사할 수 없음을 확인하여, 모델이 다른 상태를 학습하고 있음을 시사한다.
• n=2(2×2 픽셀 블록)인 블록 제품 상태는 훈련 정확도 99.97%를 달성하여 장거리 얽힘 없이도 높은 표현 능력을 확보할 수 있음을 보여준다.
• 높은 훈련 정확도에도 불구하고 테스트 정확도가 낮게 유지되며, 현재 최적화 기법에서 심각한 과적합이 발생하고 있음을 나타낸다.
• 중복 매개변수화(예: MPS 경계에서의 결합 차원 >2)를 사용하면 테스트 정확도가 향상되며, 이는 보다 우수한 일반화를 위한 최적화 공간이 있음을 시사한다.
• 최대 테스트 정확도는 블록 크기 n이 증가함에 따라 단조적으로 증가하며, 이는 더 큰 블록이 일반화 잠재력을 향상시킴을 의미한다.
• 높은 표현 능력에도 불구하고 현재의 블록 제품 상태 구현은 최신 기술 수준의 모델에 비해 경쟁 가능한 테스트 정확도를 달성하지 못하며, 이는 보다 나은 최적화 전략이 필요함을 강조한다.