[논문 리뷰] Supervised Learning with Quantum-Inspired Tensor Networks

E. Miles Stoudenmire, David J. Schwab|arXiv (Cornell University)|2016. 05. 18.

Computational Physics and Python Applications참고 문헌 40인용 수 102

한 줄 요약

이 논문은 매트릭스 곱 인 상태( MPS ) 표현을 사용하여 감독 학습용 분류기를 매개변수화하고, MNIST 테스트 오차를 1% 미만으로 달성하며 물리학에서 영감을 받은 정규화 관점을 제시한다.

ABSTRACT

Tensor networks are efficient representations of high-dimensional tensors which have been very successful for physics and mathematics applications. We demonstrate how algorithms for optimizing such networks can be adapted to supervised learning tasks by using matrix product states (tensor trains) to parameterize models for classifying images. For the MNIST data set we obtain less than 1% test set classification error. We discuss how the tensor network form imparts additional structure to the learned model and suggest a possible generative interpretation.

연구 동기 및 목표

• 텐서-네트워크 접근 방식을 사용하여 매개변수화 분류기를 위한 행렬 곱 네트워크(MPS) 분해를 활용해 감독 학습에 적용한다.
• 입력 데이터를 로컬 특징 맵으로 매핑하고 가중치 텐서를 MPS로 표현하여 확장 가능한 최적화를 가능하게 한다.
• MNIST에서의 실용적 성능을 시연하고 텐서-네트워크 형태가 학습을 정규화하고 구조를 드러내는 방법을 분석한다.
• 학습된 모델에 대한 특징 선택 및 잠재적 생성 관점의 해석을 제공한다.

제안 방법

• 입력을 로컬 특징 맵으로 매핑하여 N개의 구성 요소에 대해 랭크-1의 곱 상태로 고차원 텐서 Φ(x)를 생성한다.
• 모든 레이블에 대한 가중치 텐서 W를 결합 차원 m의 MPS로 표현하여 용량 및 정규화를 제어한다.
• DMRG에서 영감을 받은 스위핑 알고리즘으로 MPS 가중치를 최적화하고 이웃 두 텐서를 한 번에 업데이트하며 그래디언트 유사 업데이트 및 SVD 기반 재 직교화를 사용한다.
• SVD를 통해 결합 차원을 적응적으로 잘라내어 MPS를 간결하게 유지하면서 근사 최적성을 유지한다.
• 입력 공간 크기에 대해 선형으로 확장되도록 학습 및 평가 비용을 조정하고 비용은 d^3 m^3 N N_L N_T로 확장된다.
• f^ℓ(x) = W^ℓ · Φ(x)인 원-대-일(one-vs-all) 설정을 논의하고 가장 큰 |f^ℓ(x)|를 가진 레이블로 분류한다.

실험 결과

연구 질문

• RQ1 텐서-네트워크 매개변화(MPS)가 감독 분류 작업의 가중치 텐서를 효율적으로 표현하고 최적화할 수 있는가?
• RQ2 MPS 구조가 학습 효율성, 일반화, 이미지 데이터의 상호 관련성 포착 능력에 어떤 영향을 미치는가?
• RQ3 가중치 차원 m을 변화시켜 MNIST에서 MPS 기반 분류기가 어떤 성능 향상을 보여주는가?
• RQ4 특징 선택 및 잠재적 생성 관점에 대한 MPS 형태의 해석적 함의는 무엇인가?

주요 결과

• MNIST(28×28을 14×14로 재축소)에서 MPS 분류기는 삼 sweep 이후 결합 차원 m = 120에서 테스트 오차 0.97%를 달성한다.
• 더 낮은 결합 차원은 더 높은 오차를 유발하며, 예를 들어 m = 10은 약 5%의 오차, m = 20은 약 2%의 테스트 오차를 보인다.
• 학습 및 평가 비용은 입력 크기에 비례해 선형으로 증가하며 큰 특이값 근처에서 잘라 필요한 적응적 압축이 가능하다.
• 로컬 특징 맵과 MPS 구조를 통합하여 특징 맵 선택을 넘어 학습을 정규화하고 잠재적 생성 해석을 제시한다.
• 이 프레임워크는 내부 텐서의 병렬 최적화를 지원하고 MPS의 U/V 직교 분해를 통해 학습된 특징에 대한 구조적 관점을 제공한다.