[논문 리뷰] TensorNetwork for Machine Learning

Stavros Efthymiou, Jack D. Hidary외 1명|arXiv (Cornell University)|2019. 06. 07.

Quantum many-body systems참고 문헌 31인용 수 62

한 줄 요약

본 논문은 TensorNetwork 라이브러리를 사용하여 행렬곱 상태(MPS) 텐서 네트워크를 이용한 이미지 분류를 시演하며, GPU 가속 자동 기울기 학습으로 MNIST 테스트 정확도 98%, Fashion-MNIST 테스트 정확도 88%를 달성한다.

ABSTRACT

We demonstrate the use of tensor networks for image classification with the TensorNetwork open source library. We explain in detail the encoding of image data into a matrix product state form, and describe how to contract the network in a way that is parallelizable and well-suited to automatic gradients for optimization. Applying the technique to the MNIST and Fashion-MNIST datasets we find out-of-the-box performance of 98% and 88% accuracy, respectively, using the same tensor network architecture. The TensorNetwork library allows us to seamlessly move from CPU to GPU hardware, and we see a factor of more than 10 improvement in computational speed using a GPU.

연구 동기 및 목표

• 텐서 네트워크를 이미지 분류에 어떻게 적용할 수 있는지 보여준다.
• 이미지 데이터를 행렬곱 상태 형태로 인코딩하고 자동 기울기로 학습한다.
• MNIST와 Fashion-MNIST 데이터셋에서 성능과 속도 향상을 시연한다.
• 실무자를 위해 오픈 소스 코드와 TensorFlow와의 TensorNetwork 통합을 제공한다.

제안 방법

• 각 이미지 픽셀을 2차원 로컬 특징 맵으로 인코딩하여 데이터 텐서를 형성한다.
• 분류기를 레이블 인덱스를 갖는 MPS 텐서로 표현하고 인코딩된 데이터와의 내적을 계산하여 f^(l)(x) 를 얻는다.
• 레이블에 대한 소프트맥스와 다중 클래스 교차 엔트로피를 사용하고 자동 미분을 통한 역전파로 학습한다.
• 수축 순서와 계산 비용을 논의하고 병렬 가능하게 하는 수축 전략을 선호한다.
• 학습을 위한 자동 기울기와 Adam 최적화를 가능하게 하는 TensorFlow 백엔드를 활용한다.
• CPU 대 GPU 성능을 비교하고 결합 차원 chi에 대한 의존성을 평가한다(chi ≥ 약 10).

실험 결과

연구 질문

• RQ1 행렬곱 상태(MPS) 텐서 네트워크가 MNIST와 Fashion-MNIST에서 효과적으로 이미지를 분류할 수 있는가?
• RQ2 결합 차원 chi가 정확도와 학습 비용에 미치는 영향은 무엇인가?
• RQ3 TensorNetwork와 TensorFlow가 텐서 네트워크에 대한 기울기 기반 최적화를 어떻게 가능하게 하는가?
• RQ4 이 접근법에서 CPU에서 GPU로 이동할 때의 실질적인 속도 향상은 무엇인가?
• RQ5 수축 순서가 계산 효율성과 병렬성에 어떤 영향을 미치는가?

주요 결과

• 60k 학습 데이터, 10k 테스트 분할에서 MPS 네트워크를 사용한 MNIST 테스트 정확도 약 98%.
• 같은 아키텍처와 설정에서 Fashion-MNIST 테스트 정확도 약 88%.
• 같은 코드베이스에 대해 GPU 학습은 CPU에 비해 에폭당 실제 시간 약 10배 빠르다.
• 최종 정확도는 chi ≳ 10에서 결합 차원에 거의 의존하지 않는 것으로 나타난다.
• 소프트맥스가 있는 교차 엔트로피 손실은 최종 정확도 측면에서 평균 제곱 오차와 비슷하게 작동한다.
• 자동 기울기(TensorFlow)를 이용한 학습은 MPS 기반 분류에 대해 실행 가능하고 효과적이다.