[論文レビュー] Approximation Theory of Tree Tensor Networks: Tensorized Univariate Functions -- Part I

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications参考文献 31被引用数 7

ひとこと要約

本稿では、テンソル化を用いて構築されるテンソルネットワークを用いた、1変数関数のための新しい近似フレームワークを提案する。$L^p$関数がテンソル積空間として表現可能であることを示し、ランク構造付きテンソル形式に基づく近似クラスを定義する。これらは準ノルム線形空間をなしており、ネットワークの深さが増すにつれて、古典的な滑らかさ空間に比べて優れた表現力を持つことが示された。

ABSTRACT

We study the approximation of functions by tensor networks (TNs). We show that Lebesgue $L^p$-spaces in one dimension can be identified with tensor product spaces of arbitrary order through tensorization. We use this tensor product structure to define subsets of $L^p$ of rank-structured functions of finite representation complexity. These subsets are then used to define different approximation classes of tensor networks, associated with different measures of complexity. These approximation classes are shown to be quasi-normed linear spaces. We study some elementary properties and relationships of said spaces. In part II of this work, we will show that classical smoothness (Besov) spaces are continuously embedded into these approximation classes. We will also show that functions in these approximation classes do not possess any Besov smoothness, unless one restricts the depth of the tensor networks. The results of this work are both an analysis of the approximation spaces of TNs and a study of the expressivity of a particular type of neural networks (NN) -- namely feed-forward sum-product networks with sparse architecture. The input variables of this network result from the tensorization step, interpreted as a particular featuring step which can also be implemented with a neural network with a specific architecture. We point out interesting parallels to recent results on the expressivity of rectified linear unit (ReLU) networks -- currently one of the most popular type of NNs.

研究の動機と目的

• 1変数関数の木構造テンソルネットワークを用いた近似の理論的基盤を確立すること。
• ランク構造付きテンソル形式に基づく近似クラスおよびその複雑さの測度を定義すること。
• これらの近似クラスが準ノルム線形空間として持つ性質を分析すること。
• 第2部でベソフ空間およびソボレフ空間との関係を確立する基盤を築くこと。
• テンソルネットワークと特定のスパース構造を持つ順方向型ニューラルネットワークとの関連を強調すること。

提案手法

• ベース$-b$展開を用いて1変数関数を多変数関数にテンソル化し、テンソル積構造を可能にする。
• テンソル化によって誘導される特徴空間において、関数をランク構造付きテンソルとして表現する。
• $L^p$の部分集合として、テンソルネットワーク形式における有限の表現複雑さを持つ近似クラスを定義する。
• テンソル積構造を用いて、近似クラス上の準ノルムを定義する。
• テンソル化ステップを、インジケータ関数および累乗活性化関数を用いた3層の順方向型ニューラルネットワークとして符号化する。
• 得られた近似手法を和積ネットワークおよびスパースニューラルアーキテクチャと結びつける。

実験結果

リサーチクエスチョン

• RQ1 1変数の$L^p$関数は、どのようにテンソル化を介してテンソル積構造を用いて体系的に表現できるか？
• RQ2 ランク構造付きテンソルネットワークによって定義される近似クラスの構造的および解析的性質は何か？
• RQ3 これらの近似クラスは、ベソフ空間やソボレフ空間といった古典的な滑らかさ空間とどのように関係しているか？
• RQ4 ネットワークの深さが、テンソルネットワーク近似の表現力に果たす役割は何か？
• RQ5 テンソル化に基づく特徴抽出ステップは、古典的なスプラインベースの特徴と比較して、近似性能においてどのように異なるか？

主な発見

• テンソル化によって誘導されるテンソル積構造により、$L^p$関数は任意の次数のテンソル積空間と同一視可能である。
• 有限ランクテンソルネットワークに基づく近似クラスは、適切な複雑さの測度のもとで、準ノルム線形空間をなす。
• これらの近似クラスは、テンソルネットワークの深さが制限されない限り、古典的なベソフ空間よりも厳密に大きい。
• テンソル化ステップは、特定の活性化関数を備えた3層の順方向型ニューラルネットワークとして実装可能であり、これによりテンソルネットワークとニューラルネットワークアーキテクチャが結びつく。
• 本フレームワークは、テンソルネットワークの深さ$d$を増やすことで、$m=0$の低次の多項式特徴に対しても、ほぼ最適の近似レートを達成する。
• 固定された$m$に対して、テンソル化表現における低ランク構造を活用することが、高い近似精度を達成する上で不可欠であることが明らかになった。