[論文レビュー] TensorNetwork: A Library for Physics and Machine Learning

Chase Roberts, Ashley Milsted+7 more|arXiv (Cornell University)|May 3, 2019

Quantum many-body systems参考文献 25被引用数 70

ひとこと要約

TensorNetworkは、物理学と機械学習におけるテンソルネットワークの構築と縮約を可能にする、TensorFlowベースのオープンソースライブラリです。論文はAPI設計、データ構造、およびユースケースを説明します。

ABSTRACT

TensorNetwork is an open source library for implementing tensor network algorithms. Tensor networks are sparse data structures originally designed for simulating quantum many-body physics, but are currently also applied in a number of other research areas, including machine learning. We demonstrate the use of the API with applications both physics and machine learning, with details appearing in companion papers.

研究の動機と目的

• 物理学と機械学習全体でテンソルネットワークの利用を動機づける。
• グラフィカルなテンソルネットワーク表現に対応したAPIを導入する。
• TensorNetworkがTensorFlowと統合してGPU/TPUを活用する方法を示す。
• 一般的なテンソルネットワーク計算の基本操作とワークフローを示す。
• 物理学と機械学習のユースケースを概説し、詳細については補足論文を参照する。

提案手法

• APIを動機づけるために、テンソルと縮約のグラフィカル表記を提示する。
• コアAPIオブジェクトを定義する：TensorNetwork、Node、およびEdge。
• エッジの種類（standard、trace、dangling）と操作（connect、contract、flatten、contract_between）を説明する。
• ノード分割と、SVDベースの分解を用いた外積/内積を説明する。
• メモリ節約技術と、max_singular_valuesまたはmax_truncation_errを用いた任意の切り捨てを説明する。
• TensorFlowとの統合およびGPU/TPUによる加速を参照する。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェアライブラリでテンソルネットワークをどのように効率的に表現・操作できるか？
• RQ2 APIはグラフィカルなテンソルネットワークの概念を計算プリミティブにどのように対応付けるか？
• RQ3 物理学とMLワークロードのためのTensorNetworkとTensorFlowの統合による実用的な利点は何か？
• RQ4 ライブラリ内で利用可能なメモリ節約と近似戦略は何か（例：特異値の切り捨て）？

主な発見

• TensorNetworkは、テンソルネットワークを作成・接続・縮約・操作するための、プログラム可能でグラフベースのAPIを提供します。
• このライブラリは、エッジの縮約、フラット化、SVDによるノード分割などの基本操作をサポートし、切り捨てのオプションを含みます。
• エッジタイプと事前縮約の最適化（エッジのフラット化など）を強調し、メモリ効率を向上させます。
• このAPIにより、MPS、TTN、MERAなどの一般的なテンソルネットワークアーキテクチャをTensorFlow内で容易に実装できます。
• 応用範囲は物理学と機械学習に及び、特定の物理学およびMLのユースケースとGPUでのパフォーマンス利点を詳述する補足論文がある。