[論文レビュー] Approximation by tree tensor networks in high dimensions: Sobolev and compositional functions

Markus Bachmayr, Anthony Nouy+1 more|SPIRE - Sciences Po Institutional REpository|Dec 2, 2021

Composite Material Mechanics被引用数 5

ひとこと要約

本稿は、高次元関数空間におけるツリーテンソルネットワークの近似誤差バインディングを確立し、階層的構造を持つ合成関数が、元のツリーの深さが次元に対して対数的である場合、次元の呪いなしに近似可能であることを示している。主な結果は、バランスの取れたツリーの場合、成分関数がリプシッツ連続で微分が有界である限り、近似の複雑さが次元および逆精度の多項式的スケーリングに従うということである。

ABSTRACT

This paper is concerned with convergence estimates for fully discrete tree tensor network approximations of high-dimensional functions from several model classes. For functions having standard or mixed Sobolev regularity, new estimates generalizing and refining known results are obtained, based on notions of linear widths of multivariate functions. In the main results of this paper, such techniques are applied to classes of functions with compositional structure, which are known to be particularly suitable for approximation by deep neural networks. As shown here, such functions can also be approximated by tree tensor networks without a curse of dimensionality -- however, subject to certain conditions, in particular on the depth of the underlying tree. In addition, a constructive encoding of compositional functions in tree tensor networks is given.

研究の動機と目的

• 高次元関数に対する完全に離散化されたツリーテンソルネットワークの近似能力を分析すること。
• 線形幅の技術を用いて、ソボレフ空間および混合正則性関数の収束見積もりを拡張すること。
• 深層ニューラルネットワークによって効率的に近似可能な合成関数が、ツリーテンソルネットワークに対しても効率的に近似可能かどうかを調査すること。
• 合成関数に対してツリーテンソルネットワークが次元の呪いを回避する条件を特定すること。
• 近似複雑さを明示的に定量化する形で、合成関数をツリーテンソルネットワーク形式に構成的に符号化すること。

提案手法

• 線形幅の見積もりを用いて、ツリーテンソルネットワーク形式におけるソボレフ関数および混合正則性関数の収束速度を導出する。
• 階層的関数合成を活用して、合成関数をツリーテンソルネットワークとして表現する構成的符号化技術を適用する。
• 各ノードにおける次元ツリーに関連するテンソル行列化の特異値の減衰に基づいて、誤差バインディングを導出する。
• 近似複雑さを制御するため、微分が有界な（リプシッツおよび弱ソボレフ正則性を満たす）成分関数のパrameterizationを導入する。
• 近似複雑さがツリーの深さ $L$、アリティ $a$、微分の有界値 $B_1$、$B_\star$ にどのように依存するかを分析する。
• 与えられた $L^p$-誤差 $\varepsilon$ を達成するためのテンソルランク $r_\alpha$ の十分条件を確立し、$\varepsilon^{-1/s}$ および $d$ の観点から複雑さのバインディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 ツリーテンソルネットワークは、次元の呪いを回避しながら高次元の合成関数を近似可能か？
• RQ2 近似複雑さが、対応する次元ツリーの深さおよびアリティにどのように依存するか？
• RQ3 成分関数の正則性（リプシッツ定数および弱ソボレフノルムで測定）が近似速度にどのように影響するか？
• RQ4 近似複雑さが次元 $d$ および逆精度 $\varepsilon^{-1}$ に対して多項式的になる条件は何か？
• RQ5 同じテンソルネットワーク形式において、合成関数の収束速度は、標準的なソボレフ関数のそれと比べてどうなるか？

主な発見

• バランスの取れたツリーで深さ $L \sim \log_2 d$ の場合、合成関数の近似複雑さは次元 $d$ および $\varepsilon^{-1}$ に対して多項式的スケーリングとなり、次元の呪いを回避する。
• 成分関数が $1$-リプシッツ（$B_1 = 1$）でツリーのアリティが有界である場合、複雑さは $\mathcal{O}(d^{1+(a+1)/s} \varepsilon^{-(a+1)/s})$ となり、深さに指数的依存しない。
• 線形ツリー（$L = d-1$）の場合、複雑さは $B_1^{3d}$ のように指数的に増加し、ツリーの深さが次元の呪いを回避する上で極めて重要であることを示している。
• 二分ツリーの場合、複雑さは $\mathcal{O}(L^3 \varepsilon^{-3/s} B_1^{3L} B_\star^3)$ となり、バランスの取れたツリーでは $L \leq \lceil \log_2 d \rceil$ であるため、$d$ に対して多項式的依存が得られる。
• 一方、自明なツリー（タッカー形式）では、複雑さは $\mathcal{O}(d^{d/s} \varepsilon^{-d/s})$ とスケーリングされ、$s > 1$ であっても次元の呪いに見舞われる。
• これらの結果は、ツリーテンソルネットワークが、ツリー構造が浅くバランスが取れている限り、合成関数について深層ニューラルネットワークと同様に有益な複雑さスケーリングを達成できることを示している。