[논문 리뷰] TensorLy: Tensor Learning in Python

Jean Kossaifi, Yannis Panagakis외 2명|University of Twente Research Information|2016. 10. 29.

Tensor decomposition and applications참고 문헌 21인용 수 210

한 줄 요약

TensorLy는 NumPy, MXNet, PyTorch, TensorFlow, CuPy를 추상화하는 유연한 백엔드 시스템을 갖춘 최첨단 텐서 학습을 제공하는 BSD-라이선스의 Python 라이브러리로, 확장 가능한 텐서 연산과 심층 텐서화 네트워크를 가능하게 한다.

ABSTRACT

Tensors are higher-order extensions of matrices. While matrix methods form the cornerstone of machine learning and data analysis, tensor methods have been gaining increasing traction. However, software support for tensor operations is not on the same footing. In order to bridge this gap, we have developed \emph{TensorLy}, a high-level API for tensor methods and deep tensorized neural networks in Python. TensorLy aims to follow the same standards adopted by the main projects of the Python scientific community, and seamlessly integrates with them. Its BSD license makes it suitable for both academic and commercial applications. TensorLy's backend system allows users to perform computations with NumPy, MXNet, PyTorch, TensorFlow and CuPy. They can be scaled on multiple CPU or GPU machines. In addition, using the deep-learning frameworks as backend allows users to easily design and train deep tensorized neural networks. TensorLy is available at https://github.com/tensorly/tensorly

연구 동기 및 목표

• 텐서 방법 및 심층 텐서화 신경망을 위한 고수준 Python API로 TensorLy를 소개한다.
• NumPy, MXNet, PyTorch, TensorFlow, CuPy 간 전환이 가능한 백엔드 독립적 계산 프레임워크를 제공한다.
• 견고한 테스트와 문서화를 갖춘 최첨단 텐서 연산, 분해 및 회귀 방법을 제공한다.
• Python 과학 스택과의 통합에 대한 성능 및 확장성 이점과 접근성을 시연한다.

제안 방법

• 텍서 대수 연산 및 분해(CP, Tucker, 비음수 변형, Robust Tensor PCA, 저랭크 텐서 회귀)를 구현한다.
• Eager 실행 지원과 함께 NumPy, MXNet, PyTorch, CuPy, TensorFlow에서 계산을 수행할 수 있는 유연한 백엔드 시스템을 제공한다.
• 깊은 텐서화 신경망을 가능하게 하기 위해 딥 러닝 프레임워크와의 통합을 추진한다.
• 광범위한 단위 테스트와 문서화를 통해 코드 품질을 보장한다(작성 시 97% 커버리지).
• CPU/GPU에서의 성능 향상을 위해 모드-n 텐서에 대한 효율적 전개 전략을 홍보한다.

실험 결과

연구 질문

• RQ1 TensorLy가 Python 데이터 사이언스 워크플로우에 대해 광범위한 백엔드 지원을 갖춘 포괄적이고 오픈 소스 텐서 학습 라이브러리를 제공할 수 있는가?
• RQ2 다양한 백엔드와 하드웨어에서 TensorLy가 텐서 분해 및 학습 연산을 어떻게 수행하는가?
• RQ3 텐서 방법의 딥 러닝 프레임워크와의 용이한 통합을 가능하게 하는 설계 선택은 무엇인가?
• RQ4 CPU 및 GPU에서 기존 도구에 비해 TensorLy의 텐서 연산의 비교 성능은 어떠한가?
• RQ5 연구자들이 사용하기 쉽게 유지하면서 다중 장치 구성을 확장할 수 있는가?

주요 결과

• TensorLy는 CP 및 Tucker 분해와 그 변형을 포함한 최첨단 텐서 학습 방법을 제공합니다.
• 라이브러리는 NumPy, MXNet, PyTorch, TensorFlow, 또는 CuPy를 연산에 사용할 수 있는 유연한 백엔드 시스템을 제공합니다.
• TensorLy는 BSD-라이선스이며 문서화 및 광범위한 단위 테스트(97% 커버리지)를 갖춘 오픈 소스입니다.
• 실험은 백엔드 전반에 걸쳐 CPU 및 GPU에서 텐서 분해의 경쟁 속도를 보여줍니다.
• TensorLy는 텐서 방법을 딥 러닝과 결합할 수 있게 하고 다중 CPU 및 다중 GPU 구성에서 확장 가능한 실행을 지원합니다.
• 향후 연구에는 더 많은 방법(PARAFAC2, DEDICOM, tensor networks)을 추가하고 성능 향상을 위한 BLAS 프리미티브 확장 탐색이 포함됩니다.