[論文レビュー] TensorLy: Tensor Learning in Python

Jean Kossaifi, Yannis Panagakis+2 more|University of Twente Research Information|Oct 29, 2016

Tensor decomposition and applications参考文献 21被引用数 210

ひとこと要約

TensorLyは、NumPy、MXNet、PyTorch、TensorFlow、CuPy 上で計算を抽象化する柔軟なバックエンドシステムを備えた最先端のテンソル学習を提供する BSDライセンスの Python ライブラリです。これにより、スケーラブルなテンソル演算とディープテンソル化ネットワークを実現します。

ABSTRACT

Tensors are higher-order extensions of matrices. While matrix methods form the cornerstone of machine learning and data analysis, tensor methods have been gaining increasing traction. However, software support for tensor operations is not on the same footing. In order to bridge this gap, we have developed \emph{TensorLy}, a high-level API for tensor methods and deep tensorized neural networks in Python. TensorLy aims to follow the same standards adopted by the main projects of the Python scientific community, and seamlessly integrates with them. Its BSD license makes it suitable for both academic and commercial applications. TensorLy's backend system allows users to perform computations with NumPy, MXNet, PyTorch, TensorFlow and CuPy. They can be scaled on multiple CPU or GPU machines. In addition, using the deep-learning frameworks as backend allows users to easily design and train deep tensorized neural networks. TensorLy is available at https://github.com/tensorly/tensorly

研究の動機と目的

• TensorLyを、テンソルメソッドとディープテンソライズドニューラルネットワークのための高レベルなPython APIとして紹介する。
• NumPy、MXNet、PyTorch、TensorFlow、CuPy の間を切り替え可能な、バックエンドに依存しない計算フレームワークを提供する。
• 最先端のテンソル演算、分解、回帰法を、堅牢なテストとドキュメントとともに提供する。
• Python科学スタックとの統合性を前提に、性能とスケーラビリティの利点とアクセス性を示す。

提案手法

• テンソル代数演算と分解の実装（CP、Tucker、非負のバリアント、Robust Tensor PCA、低ランクテンソル回帰）。
• NumPy、MXNet、PyTorch、CuPy、TensorFlow 上での計算を実行する柔軟なバックエンドシステムを提供し、 eager execution をサポートします。
• ディープテンソライズドニューラルネットワークを可能にするよう、ディープラーニングフレームワークと統合する。
• 広範な単体テストとドキュメントによるコード品質の確保（作成時点で97%のカバレッジ）。
• CPU/GPU での性能向上を図る mode-n テンソルの効率的な unfolding 戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 Can TensorLy provide a comprehensive, open-source tensor learning library with broad backend support for Python data science workflows?
• RQ2 How does TensorLy perform tensor decompositions and learning operations across different backends and hardware?
• RQ3 What are the design choices that enable easy integration of tensor methods with deep learning frameworks?
• RQ4 What is the comparative performance of TensorLy's tensor operations relative to existing tools on CPU and GPU?
• RQ5 Can TensorLy scale to multi-device setups while remaining easy to use for researchers?

主な発見

• TensorLy offers state-of-the-art tensor learning methods including CP and Tucker decompositions and their variants.
• The library provides a flexible backend system that can use NumPy, MXNet, PyTorch, TensorFlow, or CuPy for computations.
• TensorLy is BSD-licensed and open source with documentation and extensive unit tests (97% coverage).
• Experiments show competitive speed for tensor decompositions on CPU and GPU across backends.
• TensorLy enables combining tensor methods with deep learning and supports scalable execution on multi-CPU and multi-GPU setups.
• Future work includes adding more methods (PARAFAC2, DEDICOM, tensor networks) and exploring BLAS primitive extensions for performance.