[논문 리뷰] Compositional Sparsity, Approximation Classes, and Parametric Transport Equations

Wolfgang Dahmen|arXiv (Cornell University)|2022. 07. 13.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 구성적 희소성(Compositional Sparsity)을 활용한 고차원 근사의 새로운 프레임워크를 제안하며, 해의 다각도 구조적 희소성을 이용해 깊은 신경망(DNN)이 매개변수화된 운반 방정식에서 차원의 극복 문제(Curse of Dimensionality)를 피할 수 있음을 보여준다. 주요 결과는 구성적 희소성 가정 하에 DNN 근사의 차원에 독립적인 수렴 속도를 입증하며, 문제 데이터의 희소성이 정량화된 오차 한계를 갖는 해의 다각도 구조로 전이됨을 증명한다.

ABSTRACT

Approximating functions of a large number of variables poses particular challenges often subsumed under the term ``Curse of Dimensionality'' (CoD). Unless the approximated function exhibits a very high level of smoothness the CoD can be avoided only by exploiting some typically hidden {\em structural sparsity}. In this paper we propose a general framework for new model classes of functions in high dimensions. They are based on suitable notions of {\em compositional dimension-sparsity} quantifying, on a continuous level, approximability by compositions with certain structural properties. In particular, this describes scenarios where deep neural networks can avoid the CoD. The relevance of these concepts is demonstrated for {\em solution manifolds} of parametric transport equations. For such PDEs parameter-to-solution maps do not enjoy the type of high order regularity that helps to avoid the CoD by more conventional methods in other model scenarios. Compositional sparsity is shown to serve as the key mechanism forn proving that sparsity of problem data is inherited in a quantifiable way by the solution manifold. In particular, one obtains convergence rates for deep neural network realizations showing that the CoD is indeed avoided.

연구 동기 및 목표

• 고차원 함수 근사에서 특히 부드러움이 제한된 매개변수화된 PDE에 대해 차원의 극복 문제를 해결하기 위해.
• 구성적 차원-희소성 기반의 새로운 함수 모델 클래스를 개발하여 고차원 사상의 구조적 희소성을 포착하기 위해.
• 깊은 신경망이 매개변수화된 운반 방정식의 해 다각도에 대해 차원에 독립적인 근사 속도를 달성할 수 있음을 보여주기 위해.
• 구성적 근사에 의해 문제 데이터의 희소성과 해 다각도의 희소성 사이의 이론적 연결을 수립하기 위해.

제안 방법

• 구조적 조합을 통한 근사 가능성의 정도를 측정하기 위해 연속 수준의 구성적 차원-희소성 개념을 도입한다.
• 통제 가능한 복잡도를 갖는 깊은 네트워크 아키텍처에서 비선형 사상 모델링을 위해 억제된 조합 기법을 적용한다.
• 비선형 너비와 근사 클래스를 사용하여 고차원 환경에서 깊은 신경망의 표현력을 특성화한다.
• 안정성과 조합 노름 제어를 활용하여 재귀적 네트워크 구축을 통해 오차 한계를 유도한다.
• 근사 허용 오차와 문제 매개변수에 대한 네트워크 크기 분석을 통해 수렴 속도를 수립한다.
• 로그 및 지수 성장 함수를 사용하여 네트워크 복잡도를 제한하며, 매개변수적 및 공간적 차원을 고려한다.

실험 결과

연구 질문

• RQ1 구성적 희소성은 고차원 매개변수화된 PDE에서 차원의 극복 문제를 피하는 데 기여할 수 있는가?
• RQ2 초기 조건, 계수 등 문제 데이터의 희소성은 매개변수화된 운반 방정식에서 해 다각도로 어떻게 전파되는가?
• RQ3 구성적 희소성 하에서 깊은 신경망의 해 다각도 근사에 대해 달성 가능한 수렴 속도는 무엇인가?
• RQ4 깊은 신경망은 기저 문제의 구조적 특성에서 안정성과 근사 성질을 어느 정도 상속하는가?
• RQ5 기존의 부드러움 기반 방법이 실패할 경우에도 제안된 프레임워크가 여전히 차원에 독립적인 근사 속도를 제공할 수 있는가?

주요 결과

• 구성적 희소성 하에서 깊은 신경망은 매개변수화된 운반 방정식에 대해 차원에 독립적인 수렴 속도를 달성하며, 차원의 극복 문제를 피한다.
• 해 다각도는 문제 데이터의 희소성을 상속받으며, 매개변수적 및 공간적 차원을 포함한 성장 함수를 통해 오차 한계가 정량화된다.
• 네트워크 크기는 $\phi(Me^{L\widehat{T}}/\varepsilon) \sim \max\{M^{\frac{(α+1)m+1}{\alpha}}, d_y\}(Me^{L\widehat{T}}/\varepsilon)^{m+1+\beta}|\log_2(e^{L\widehat{T}}/\varepsilon)|^2$로 스케일링되며, 이는 효율적 근사를 보장한다.
• 네트워크 근사의 조합 노름은 $Me^{L\widehat{T}}$로 균일하게 유계이므로, 조합에 대한 안정성이 보장된다.
• 수렴 속도 $\varepsilon \sim \tilde{\varepsilon}$ 는 $\varepsilon^{-1}$ 에 대해 다항식적으로 증가하는 네트워크 크기로 달성되며, 로그 인자까지 고려된다.
• 기존의 부드러움 기반 방법이 실패하는 경우에도 이 프레임워크는 낮은 정규성 영역에서 강건함을 입증한다.