[논문 리뷰] Partition of unity networks: deep hp-approximation

Kookjin Lee, Nathaniel Trask외 3명|arXiv (Cornell University)|2021. 01. 27.

Model Reduction and Neural Networks참고 문헌 27인용 수 6

한 줄 요약

이 논문은 깊이 학습 아키텍처인 분할의 항법 네트워크(POUnets)를 소개한다. 이는 신경망 기반의 분할의 항법과 학습 가능한 다항식 기반을 명시적으로 조합하여 효율적이고 고차수의 $hp$-근사화를 가능하게 한다. 공간 분할과 국소적 다항식 근사화를 분리하고, 이중 단계 최소 제곱 최적화기를 사용함으로써, 부드러운 함수에 대해 $hp$-수렴성을 달성하며, 불연속성이 있는 조각다항식 문제에서 표준 MLP보다 일관되게 뛰어난 성능을 보이며, 차원의 극복을 깨뜨린다.

ABSTRACT

Approximation theorists have established best-in-class optimal approximation rates of deep neural networks by utilizing their ability to simultaneously emulate partitions of unity and monomials. Motivated by this, we propose partition of unity networks (POUnets) which incorporate these elements directly into the architecture. Classification architectures of the type used to learn probability measures are used to build a meshfree partition of space, while polynomial spaces with learnable coefficients are associated to each partition. The resulting hp-element-like approximation allows use of a fast least-squares optimizer, and the resulting architecture size need not scale exponentially with spatial dimension, breaking the curse of dimensionality. An abstract approximation result establishes desirable properties to guide network design. Numerical results for two choices of architecture demonstrate that POUnets yield hp-convergence for smooth functions and consistently outperform MLPs for piecewise polynomial functions with large numbers of discontinuities.

연구 동기 및 목표

• 고차원 함수 근사화를 위한 딥 뉴럴 네트워크에서 이론적 근사 능력과 실질적 최적화 실패 사이의 격차를 해소하기 위해.
• 딥 뉴럴 네트워크 아키텍처에 직접 $hp$-유한요소 유사한 구조를 통합하여 함수 근사에서 차원의 극복을 극복하기 위해.
• 기하학적 메쉬 없이도 기울기 가능하고 스케일러블한 분할의 항법과 학습 가능한 다항식 기반을 사용하여 부드럽고 조각다항식 함수를 정확하게 근사화할 수 있도록 하기 위해.
• 분할 학습과 계수 최적화를 분리하는 학습 전략을 개발하여 수렴성과 안정성을 보장하기 위해.
• POUnets가 메쉬 생성 없이도 유한요소 방법과 유사한 지수 수렴률을 달성할 수 있음을 입증하기 위해.

제안 방법

• 아키텍처는 기울기 가능 분할의 항법 $\Phi = \{\phi_\alpha(\mathbf{x}; \bm{\xi})\}$를 출력하는 딥 뉴럴 네트워크를 사용한다. 여기서 $\phi_\alpha$ 는 음이 아닌 함수이며, 합이 1이 되며, 근사화를 국소화한다.
• 각 분할 요소는 차수 $m$의 국소적 다항식 기반 $P_\beta(\mathbf{x})$ 와 연관되며, 전체 근사자 $y_{\text{POU}}(\mathbf{x}) = \sum_\alpha \phi_\alpha(\mathbf{x}; \bm{\xi}) \sum_\beta c_{\alpha,\beta} P_\beta(\mathbf{x})$ 를 형성한다.
• 이중 단계 최적화 전략을 사용한다: 첫째, 분할 네트워크는 경사 하강법을 통해 서로 겹치지 않는 국소화된 영역을 생성하도록 훈련된다; 둘째, 최적의 데이터 피팅을 위해 전역 최소 제곱법을 사용하여 계수 $c_{\alpha,\beta}$ 를 구한다.
• 이 방법은 번갈아 최적화 기법을 활용한다: $\bm{\xi}$ 는 경사 하강법으로 갱신하고, 다음으로 $\mathbf{c}$ 는 닫힌 형태의 최소 제곱법으로 구하여, 각 단계에서 전역 최적성을 보장한다.
• 이 방법은 네트워크에 직접 $hp$-유사한 구조를 통합함으로써 차원에 따른 지수적 확장 방지를 설계하여, 메쉬 없는 고차수 근사화를 가능하게 한다.
• 이 방법은 부드럽고 조각다항식 함수를 다루는 회귀 과제에 적용되며, 분할 네트워크에 ResNet 아키텍처를 사용하고, 표준 다항식 기반을 사용한다.

실험 결과

연구 질문

• RQ1 손으로 조정된 메쉬에 의존하지 않고도 고차수 근사화와 국소화된 함수 표현을 동시에 달성할 수 있는 딥 뉴럴 네트워크 아키텍처를 설계할 수 있는가?
• RQ2 분할 학습과 계수 피팅을 분리하는 이중 단계 최적화 전략이 함수 근사에서 지수 수렴률을 달성할 수 있는가?
• RQ3 네트워크 아키텍처에 직접 분할의 항법과 다항식 기반을 통합하면, 불연속성이 있는 문제에서 표준 MLP보다 성능이 향상되는가?
• RQ4 잠재적인 저차원 구조를 활용하여 이 아키텍처가 고차원 함수 근사에서 차원의 극복을 깨뜨릴 수 있는가?
• RQ5 정규화와 최적화 스케줄의 선택이 생성된 분할의 품질과 근사 정확도에 어떤 영향을 미치는가?

주요 결과

• POUnets는 부드러운 함수에 대해 $hp$-수렴성을 달성하여, 네트워크 크기와 깊이에 따라 지수 수렴률을 보여준다.
• 다중 불연속성이 있는 조각다항식 함수에 대해, POUnets는 모든 테스트 케이스에서 근사 오차가 1% 이하로 일관되게 유지되며, 표준 MLP를 능가한다.
• 이중 단계 학습 전략—강한 정규화를 사용한 분할 네트워크 사전 훈련 이후 계수의 최소 제곱 피팅—은 서로 겹치지 않고 국소화된 분할을 생성하며, 함수의 특징에 적응한다.
• p=3 조각다항식 파동 케이스에서, 2단계에서의 정밀도 향상 이후 근사가 기계 정밀도 수준에 도달하여 복잡한 불연속성을 고도로 정확하게 포착하고 있음을 보여준다.
• 정규화된 사전 훈련 단계의 사용은 깔끔하고 겹치지 않는 분할을 구성하는 데 핵심적이었으며, 이를 생략할 경우 수렴성이 불안정하거나 정확하지 않았다.
• 이 아키텍처의 계산 복잡도는 공간 차원에 따라 지수적으로 증가하지 않아, 고차원 회귀 과제에서 차원의 극복에 대한 저항성을 보였다.