[論文レビュー] Compositional Sparsity, Approximation Classes, and Parametric Transport Equations

Wolfgang Dahmen|arXiv (Cornell University)|Jul 13, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、構造的スパarsityを活用することで、高次元近似のための新しいフレームワークを提案し、深層ニューラルネットワーク（DNN）が、解多様体における構造的スパarsityを活用することで、パrametric輸送方程式において次元の呪いを回避できることを示している。主な結果として、構成的スパarsityの仮定のもとで、DNN近似の次元に依存しない収束速度が得られ、問題データのスパarsityが解に定量的誤差境界とともに継承されることを証明している。

ABSTRACT

Approximating functions of a large number of variables poses particular challenges often subsumed under the term ``Curse of Dimensionality'' (CoD). Unless the approximated function exhibits a very high level of smoothness the CoD can be avoided only by exploiting some typically hidden {\em structural sparsity}. In this paper we propose a general framework for new model classes of functions in high dimensions. They are based on suitable notions of {\em compositional dimension-sparsity} quantifying, on a continuous level, approximability by compositions with certain structural properties. In particular, this describes scenarios where deep neural networks can avoid the CoD. The relevance of these concepts is demonstrated for {\em solution manifolds} of parametric transport equations. For such PDEs parameter-to-solution maps do not enjoy the type of high order regularity that helps to avoid the CoD by more conventional methods in other model scenarios. Compositional sparsity is shown to serve as the key mechanism forn proving that sparsity of problem data is inherited in a quantifiable way by the solution manifold. In particular, one obtains convergence rates for deep neural network realizations showing that the CoD is indeed avoided.

研究の動機と目的

• 高次元関数近似における次元の呪い、特に滑らかさが限られているパラメトリックPDEに対して対処すること。
• 構成的次元スパarsityに基づく新しい関数クラスを構築し、高次元写像における構造的スパarsityを捉えること。
• 深層ニューラルネットワークが、パラメトリック輸送方程式の解多様体に対して次元に依存しない近似レートを達成できることを示すこと。
• 構成的近似を通じて、問題データのスパarsityと解多様体のスパarsityとの間の理論的リンクを確立すること。

提案手法

• 構造的な合成を通じた近似可能性を定量化するための、連続的レベルの構成的次元スパarsityの概念を導入する。
• 制御された複雑性を持つ非線形写像を、深層ネットワークアーキテクチャでモデル化するための、制御された合成技術を適用する。
• 非線形幅と近似クラスを用いて、高次元設定における深層ネットワークの表現力の特徴を付与する。
• 安定性と合成ノルム制御を活用して、再帰的ネットワーク構築による誤差境界を導出する。
• 近似許容誤差と問題パラメータに関して、ネットワークサイズを分析することで収束速度を確立する。
• 対数的および指数的成長関数を用いてネットワーク複雑性を評価し、パラメトリック次元と空間次元を考慮する。

実験結果

リサーチクエスチョン

• RQ1 構成的スパarsityは、高次元パラメトリックPDEにおける次元の呪いを回避するメカニズムとして機能するか？
• RQ2 初期条件や係数などの問題データのスパarsityは、パラメトリック輸送方程式における解多様体にどのように伝播するか？
• RQ3 構成的スパarsityのもとで、解多様体のDNN近似が達成可能な収束速度は何か？
• RQ4 深層ネットワークは、元の問題構造からの安定性および近似特性をどの程度継承するか？
• RQ5 古典的滑らかさ仮定が成立しない場合でも、提案されたフレームワークは次元に依存しない近似レートを達成できるか？

主な発見

• 構成的スパarsityのもとで、パラメトリック輸送方程式に対して深層ニューラルネットワークが次元に依存しない収束速度を達成し、次元の呪いを回避している。
• 解多様体は問題データからのスパarsityを継承しており、パラメトリック次元と空間次元を含む成長関数を用いて誤差境界が定量的に評価されている。
• ネットワークサイズは $\phi(Me^{L\widehat{T}}/\varepsilon) \sim \max\{M^{\frac{(α+1)m+1}{\alpha}}, d_y\}(Me^{L\widehat{T}}/\varepsilon)^{m+1+\beta}|\log_2(e^{L\widehat{T}}/\varepsilon)|^2$ とスケーリングされ、効率的な近似が保証されている。
• ネットワーク近似の合成ノルムは $Me^{L\widehat{T}}$ で一様に有界であり、合成において安定性が保証されている。
• 収束速度 $\varepsilon \sim \tilde{\varepsilon}$ は、$\varepsilon^{-1}$ に対して多項式的に増加するネットワークサイズで達成され、対数的要因を除いて成立する。
• 古典的滑らかさに基づく手法が失敗する場合でも、本フレームワークは低正則性領域においてもロバストであることを示している。