[論文レビュー] Approximation Theory of Tree Tensor Networks: Tensorized Multivariate Functions

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jan 28, 2021

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿は、木型テンソルネットワーク（TTNs）が、等方的、非等方的、混合滑らかさ空間において、多変数関数の近似においてほぼ最適な近似レートを達成することを確立している。これは、区分的多項式および深層ReLUネットワークと同等の性能を示す。本稿では、TTN近似クラスが（準）バナッハ空間であることを証明し、古典的Besov空間を連続的に埋め込み、任意のそれらの空間に埋め込まれないことを示しており、これにより、高次元関数近似のモデルクラスとしての普遍的表現力と適性が示された。

ABSTRACT

We study the approximation of multivariate functions with tensor networks (TNs), providing some answers to the following two questions: ``what are the approximation capabilities of TNs for functions from classical smoothness classes?'' and ``what are the properties of the class of functions that can be approximated with TNs with a certain performance?'' As a partial answer to the former, we show that TNs can (near to) optimally replicate $h$-uniform and $h$-adaptive spline approximation, for any smoothness order of the target function. Tensor networks thus exhibit universal expressivity w.r.t. isotropic, anisotropic and mixed smoothness spaces that is comparable with more general neural networks families such as deep rectified linear unit (ReLU) networks. Put differently, TNs have the capacity to (near to) optimally approximate many function classes -- without being adapted to the particular class in question. As a partial answer to the latter, as a candidate model class we consider approximation classes of TNs and show that these are (quasi-)Banach spaces, that many types of classical smoothness spaces are continuously embedded into said approximation classes and that TNs approximation classes are themselves not embedded in any classical smoothness space. In other words, TNs can efficiently approximate functions that lie beyond classical smoothness spaces.

研究の動機と目的

• 多変数関数に対して任意の滑らかさ次数を持つテンソルネットワーク（TNs）の近似能力を特定すること。
• TNsによって効率的に近似可能な適切な関数モデルクラスを同定すること。
• TN近似クラスが（準）バナッハ空間であることを確立し、古典的滑らかさ空間との埋め込み特性を特徴づけること。
• 収束レートの観点から、古典的区分的多項式および深層ニューラルネットワーク手法と比較して、TNの近似性能を評価すること。
• スパarsityが、異なる滑らかさレジームにおける最適近似レート達成に果たす役割を分析すること。

提案手法

• 著者らは、ネットワークの複雑さに関して、最良近似誤差が特定のレートで減少する関数の集合として、木型テンソルネットワーク（TTNs）の近似クラスを定義する。
• ネットワークトポロジーと多項式次数に適切な条件を満たす場合、TTN近似クラスが（準）バナッハ空間であることを証明する。
• ウェーブレットに基づく分解とテンソルトレイン表現を用いて、誤差境界を制御可能な多変数関数の近似を構築する。
• 直接的（ジャクソン型）および逆型（ベルンシュタイン型）の不等式を用いて、古典的滑らかさ空間がTTN近似クラスにどのように埋め込まれるかを特徴づける。
• 近似理論の結果、特にBesov空間とTriebel-Lizorkin空間の間の埋め込み関係を活用し、それらをテンソルネットワーク構造に適用する。
• スパースなTNが、特に非等方的および混合滑らかさレジームにおいて、最適収束レートを達成するために不可欠であることを示す。

実験結果

リサーチクエスチョン

• RQ1 木型テンソルネットワーク（TTNs）は、等方的、非等方的、混合滑らかさ空間において、多変数関数の近似でほぼ最適なレートを達成できるか？
• RQ2 TTNの近似クラスは（準）バナッハ空間であるか？ どのような条件下でそうなるか？
• RQ3 古典的滑らかさ空間、例えばBesov空間は、TTN近似クラスに連続的に埋め込まれるか？
• RQ4 TTN近似クラス自体は、任意の古典的滑らかさ空間に埋め込まれるか？
• RQ5 テンソルネットワークコアのスパarsityは、線形および非線形近似において収束レートにどのように影響するか？

主な発見

• TTNsは、任意の滑らかさ次数において、$h$-均一および$h$-適応的近似を（ほぼ）最適に再現でき、区分的多項式および深層ReLUネットワークと同等の性能を示す。
• ネットワークトポロジーと多項式次数が特定の正則性条件を満たす場合、TTN近似クラスは（準）バナッハ空間である。
• 等方的、非等方的、または混合滑らかさの任意のオーダーのBesov空間は、TTN近似クラスに連続的に埋め込まれており、強力な表現力を持つことを示している。
• TTN近似クラスは、いかなる古典的Besov空間に対しても埋め込まれないため、標準的な滑らかさ空間を超える関数クラスを捉えていることが示された。
• 線形近似において、非スパースなコアは、非等方的および混合滑らかさの状況で次元依存要因により最適レートを下回るが、スパースなコアは最適レートを回復する。
• 非線形近似において、非スパースなコアはスパースなコアと比較して収束レートが$1/2$の要因劣るが、スパースなコアはほぼ最適レートを達成する。