[논문 리뷰] Some observations on high-dimensional partial differential equations with Barron data

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|2020. 12. 02.

Model Reduction and Neural Networks참고 문헌 27인용 수 13

한 줄 요약

이 논문은 스크린된 포아송, 열, 점성 허밀토니안-자코비 방정식과 같은 핵심 고차원 PDE의 해가 PDE 데이터가 이러한 공간에 속해 있을 경우 바론 또는 트리 유사 함수 공간에 속함을 입증하며, 이는 효율적인 신경망 근사화를 가능하게 한다. 반대로, 바론 경계 데이터를 가진 조화 함수가 바론 또는 트리 유사 함수가 아닐 수 있음을 보여, 고전적 정규성 이론을 신경망 기반 함수 공간으로 확장하는 데 근본적인 제약가 존재함을 시사한다.

ABSTRACT

We use explicit representation formulas to show that solutions to certain partial differential equations lie in Barron spaces or multilayer spaces if the PDE data lie in such function spaces. Consequently, these solutions can be represented efficiently using artificial neural networks, even in high dimension. Conversely, we present examples in which the solution fails to lie in the function space associated to a neural network under consideration.

연구 동기 및 목표

• PDE 데이터가 바론 또는 트리 유사 함수 공간에 속해 있을 경우 고차원 PDE의 해가 이러한 낮은 복잡도 구조를 상속하는지 조사하기 위해.
• 고전적 매끄러움 기반 공간 대신 신경망 기반 함수 공간을 바탕으로 한 현대적 정규성 이론을 고차원 PDE에 적용하는 것이 가능한지 평가하기 위해.
• 특히 유계 영역에서, 고전적 PDE 정규성 이론을 신경망 기반 함수 공간으로 확장하는 데 있어 근본적인 장애물들을 규명하기 위해.
• 바론 데이터를 가진 PDE의 해가 항상 바론 또는 트리 유사 공간에 속하지는 않음을 보여, PDE 해법기에서 신경망 호환성에 대한 가정을 도전하기 위해.
• 데이터와 해가 모두 동일한 낮은 복잡도 함수 공간에 속할 경우 수렴 속도가 차원에 의존하지 않음을 보여, 기계학습 기반 PDE 해법기의 맥락에서 이는 잠재적으로 부당한 벤치마크가 될 수 있음을 명확히 하기 위해.

제안 방법

• 전체 공간에서 스크린된 포아송, 열, 점성 허밀토니안-자코비 방정식의 해의 정규성을 분석하기 위해 명시적 표현 공식(예: 기본 해와의 커플레션)을 사용하기 위해.
• 기존에 알려진 바론 및 트리 유사 함수 공간의 특성화를 적용하여, 특정 조건 하에서 해가 데이터의 함수 공간 소속성을 그대로 이어받음을 검증하기 위해.
• 특히, 바론 경계 데이터를 가진 조화 함수가 바론 또는 트리 유사 함수가 아니라는 반례를 구성함으로써, 해의 정규성 전파가 실패함을 보여주는, 유계 영역에서의 반례를 제시하기 위해.
• 바론 함수의 특이 집합의 기하학적 구조를 분석하여, ℝ²에서 이들이 가 countable union of points and lines 임을 보여, 국소적으로는 그러한 공간에 속하더라도 전역적 바론 소속이 불가능함을 밝히기 위해.
• 비선형 연산(예: 복합, 좌표 변환)에 대해 고전적 함수 공간(C²,α, 솔레브 등)과 바론 공간의 행동을 비교함으로써, 근본적인 불일치를 드러내기 위해.
• 영역 분할과 국소 분석을 사용하여, 바론 성질이 고전적 매끄러움과 마찬가지 방식으로 국소화될 수 없음을 보여주기 위해, 특히 조각별 ReLU 함수를 가진 U자형 도메인의 예를 제시하기 위해.

실험 결과

연구 질문

• RQ1 고차원 PDE의 바론 데이터를 가진 해가 바론 또는 트리 유사 함수 공간에 속할 조건은 무엇인가?
• RQ2 특히 유계 영역에서, 고전적 정규성 이론을 딥 뉴럴 네트워크로 정의된 함수 공간으로 확장할 수 있는가?
• RQ3 바론 성질의 국소화에 있어 근본적인 장애물은 무엇이며, 고전적 함수 공간의 국소화와는 어떻게 다를까?
• RQ4 비선형 연산(예: 복합, 좌표 변환)이 바론 또는 트리 유사 구조를 어느 정도 유지하는가? 이는 PDE 정규성에 어떤 영향을 미치는가?
• RQ5 왜 바론 데이터를 가진 PDE는 일반 목적의 PDE 해법기의 공정한 벤치마크가 되지 못하며, 이는 기계학습 기반 해법기에 어떤 영향을 미치는가?

주요 결과

• ℝᵈ에서 바론 데이터를 가진 스크린된 포아송 방정식의 해는 바론 공간에 속하며, 이는 두 층의 ReLU 신경망을 사용해 차원에 의존하지 않는 수렴 속도로 근사 가능하다.
• ℝᵈ에서 바론 데이터를 가진 열 방정식의 해 역시 바론 공간에 속함을 확인하여, 시간 진화 과정이 이 설정에서 낮은 복잡도 구조를 유지함을 입증한다.
• ℝᵈ에서 바론 데이터를 가진 점성 허밀토니안-자코비 방정식의 해는 깊이 4의 트리 유사 함수 공간에 속함을 보여, 일부 비선형 PDE에서는 더 깊은 네트워크가 필요함을 시사한다.
• 유계 영역에서는 바론 경계 데이터를 가진 조화 함수가 어떤 바론 또는 트리 유사 함수 공간에도 속하지 않을 수 있으며, 이는 U자형 도메인에서 조각별 ReLU 함수를 사용한 반례로 입증된다.
• ℝ²에서 바론 함수의 특이 집합은 점과 직선의 가산 합집합이며, 이는 국소적으로는 그러한 공간에 속하더라도 전역적 바론 소속이 불가능함을 방지한다.
• 바론 공간은 비선형 미분동형사상에 대해 불변이 아니며, 바론 함수의 복합은 반드시 바론이 아니며, 이는 고전적 매끄러운 함수 공간과는 달리, 이 설정에서 표준 PDE 기법의 사용을 약화시킨다.