[論文レビュー] Approximation Theory of Tree Tensor Networks: Tensorized Univariate Functions -- Part II

Mazen Ali, Anthony Nouy|arXiv (Cornell University)|Jun 30, 2020

Tensor decomposition and applications参考文献 31被引用数 4

ひとこと要約

本稿では、制御された複雑さを持つツリーテンソルネットワーク（TT）が、Besov空間やSobolev空間などの古典的スムージングクラスに属する関数を、最適または近似的に最適な収束速度で近似できることを確立している。古典的近似手法（例：スプライン、多項式）をテンソルネットワークとして符号化することで、直接的（ジャクソン型）不等式を導出し、深層TTは解析関数に対して指数的収束を達成することが示された。一方、スパース接続により、自由ノード付きスプラインに類似した適応的近似が可能となる。

ABSTRACT

We study the approximation by tensor networks (TNs) of functions from classical smoothness classes. The considered approximation tool combines a tensorization of functions in $L^p([0,1))$, which allows to identify a univariate function with a multivariate function (or tensor), and the use of tree tensor networks (the tensor train format) for exploiting low-rank structures of multivariate functions. The resulting tool can be interpreted as a feed-forward neural network, with first layers implementing the tensorization, interpreted as a particular featuring step, followed by a sum-product network with sparse architecture. In part I of this work, we presented several approximation classes associated with different measures of complexity of tensor networks and studied their properties. In this work (part II), we show how classical approximation tools, such as polynomials or splines (with fixed or free knots), can be encoded as a tensor network with controlled complexity. We use this to derive direct (Jackson) inequalities for the approximation spaces of tensor networks. This is then utilized to show that Besov spaces are continuously embedded into these approximation spaces. In other words, we show that arbitrary Besov functions can be approximated with optimal or near to optimal rate. We also show that an arbitrary function in the approximation class possesses no Besov smoothness, unless one limits the depth of the tensor network.

研究の動機と目的

• テンソルネットワーク近似空間とBesov空間やSobolev空間などの古典的関数空間との関係を確立すること。
• 深さが制限されない限り、テンソルネットワーク近似クラスに属する任意の関数がBesov滑らかさを持たないことを示し、深層ネットワークの表現力の高さを強調すること。
• 古典的近似手法（多項式、スプライン（固定および自由ノード付き）、マルチスケール解析）が、制御された複雑さでテンソルネットワークとして符号化可能であることを示すこと。
• テンソルネットワーク近似のための直接的（ジャクソン型）不等式を導出し、Besov空間およびSobolev空間に属する関数に対して最適または近似的に最適な収束速度が達成されることを証明すること。
• 深さとスパarsityが、高次の多項式や自由ノード付きスプラインなどのp-およびh適応的手法と同等の近似速度を達成する役割を果たす条件を調査すること。

提案手法

• 一変数関数を[0,1)に写像するb進テンソル化を用い、Lpノルムを等長埋め込みで保つことで、テンソル空間Vb,dにおける多変数テンソルに変換する。
• テンソル化された空間における関数を、ツリーテンソルネットワーク（TT形式）で表現し、正規化テンソルランクの代わりに階層的低ランク構造を実現する多線形ランク（βランク）を用いる。
• 多項式、スプライン、MRA（マルチスケール解析）などの古典的近似手法を、ランクとレベルが有界な低ランクテンソル分解として表現することにより、テンソルネットワークとして符号化する。
• テンソルネットワークの複雑さ（パラメータ数、深さ、ランク）を用いて近似誤差を評価することで、直接的推定（ジャクソン不等式）を導出する。
• 深さの制限を設けることで逆推定（逆不等式）を確立する。制限された近似クラスΦB_nを定義し、深さとランクが有界であるようにすることで、滑らかさの性質が保たれることを保証する。
• 深さとスパarsityの相互作用を分析する：深層ネットワークはp適応的近似（例：高次多項式）を再現し、スパースネットワークはh適応的近似（例：自由ノード付きスプライン）を再現する。両者の組み合わせにより、hp適応的近似が実現可能となる。

実験結果

リサーチクエスチョン

• RQ1 多項式やスプラインなどの古典的近似手法が、制御された複雑さでテンソルネットワークとして符号化可能か？
• RQ2 Besov空間およびSobolev空間に属する関数に対するテンソルネットワークの近似速度は何か？また、それは最適か？
• RQ3 なぜ、テンソルネットワーク近似クラスに属する任意の関数が、深さが有界でない限りBesov滑らかさを持たないのか？
• RQ4 テンソルネットワークにおける深さとスパarsityは、古典的手法におけるp適応的およびh適応的近似とどのように関係するか？
• RQ5 どのような条件下で、テンソルネットワーク近似空間に対して逆推定（ベルンシュタイン型）が成り立つか？

主な発見

• Besov空間Bαδτ,τはテンソルネットワークの近似空間に連続的埋め込まれており、すべてのBesov関数に対して最適または近似的に最適な近似速度が達成されることを示唆する。
• テンソルネットワーク近似クラスに属する任意の関数は、ネットワークの深さが有界でない限りBesov滑らかさを持たない。これは、深層ネットワークの高い表現力の証明である。
• テンソルネットワークは、解析関数に対して指数的収束速度を達成でき、古典的手法の最良の収束速度と一致する。
• Sobolev空間W r,p（r ≤ m+1）に対して、ネットワークの深さが制限されると、テンソルネットワークの近似速度は古典的手法の結果と一致し、このような制約下では逆推定が成り立つ。
• 深さとランクが有界な制限付きクラスΦB_nは、逆推定を可能にし、その境界はrBとcBに依存する。また、Sobolev空間への連続的埋め込みが保証される。
• スパースかつ深いテンソルネットワークは、hp適応的近似を再現可能であり、深さによりpリファインメント（高次多項式）が可能で、スパarsityによりhリファインメント（自由ノード付きスプライン）が実現される。