[논문 리뷰] Multi-scale Deep Neural Networks for Solving High Dimensional PDEs

Wei Cai, Zhi‐Qin John Xu|arXiv (Cornell University)|2019. 10. 25.

Model Reduction and Neural Networks참고 문헌 19인용 수 19

한 줄 요약

이 논문은 고주파수 및 고차원 함수 근사의 정확도를 향상시키기 위해 푸리에 도메인에서 원형 주파수 스케일링과 컴 pact한 지지도를 가진 활성화 함수를 사용하는 다중 척도 딥 네트워크인 MscaleDNN을 소개한다. 고주파 성분을 저주파 표현으로 변환함으로써 MscaleDNN은 고차원 편미분방정식(PDE)의 학습 속도를 빠르게 하고 정확도를 향상시키며, Ritz 에너지 및 최소 제곱 잔차 최소화 프레임워크에서 표준 DNN보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose the idea of radial scaling in frequency domain and activation functions with compact support to produce a multi-scale DNN (MscaleDNN), which will have the multi-scale capability in approximating high frequency and high dimensional functions and speeding up the solution of high dimensional PDEs. Numerical results on high dimensional function fitting and solutions of high dimensional PDEs, using loss functions with either Ritz energy or least squared PDE residuals, have validated the increased power of multi-scale resolution and high frequency capturing of the proposed MscaleDNN.

연구 동기 및 목표

• 진동하는 해를 포함한 고차원 PDE를 다룰 때 표준 DNN가 고주파수 근사에 약한 문제를 해결한다.
• 기존의 다중 척도 DNN(예: PhaseDNN)이 겪는 차원의 극복 문제를 해결하기 위해 좌표별 단위 이동이 아닌 k-공간에서의 원형 스케일링을 사용한다.
• 주파수 도메인에서의 다중 척도 표현을 통해 고차원 함수의 고주파 성분을 효율적으로 학습할 수 있도록 한다.
• Ritz 에너지 및 최소 제곱 잔차 손실 함수를 모두 사용하여 고차원 타원형 PDE를 해결하기 위한 확장 가능한 프레임워크를 개발한다.
• 과학 계산을 위한 다중 해상도 능력을 지닌 웨이블릿 기반 DNN 아키텍처의 미래 기반을 마련한다.

제안 방법

• 고주파 성분을 여러 주파수 대역으로 분해하기 위해 푸리에 도메인을 동심 원판으로 분할한다.
• k-공간에서의 원형 스케일링을 사용하여 고주파 성분을 저주파 표현으로 매핑함으로써 DNN 학습 속도를 향상시킨다.
• 다중 척도 해상도를 확보하고 중복 주파수 커버리지를 방지하기 위해 지지도가 컴 pact한 활성화 함수를 도입한다.
• 각 뉴런이 특정 주파수 대역에 맞춰 주파수 스케일링을 통해 조정된 다중 스케일 뉴런을 첫 번째 은닉층에 구성함으로써 MscaleDNN을 구축한다.
• 두 가지 손실 함수를 구현한다: 첫 번째 도함수만 필요한 Ritz 에너지 최소화와 라플라시안을 필요로 하는 최소 제곱 잔차 최소화.
• 학습 안정성을 높이기 위해 sReLU 활성화 함수와 가중치 초기화 기법(D1, D2)을 사용한다.

실험 결과

연구 질문

• RQ1 푸리에 도메인에서의 원형 주파수 스케일링이 DNN에서 고주파수·고차원 함수 근사에 효과적인가?
• RQ2 제안된 MscaleDNN 아키텍처가 진동하는 해를 포함한 고차원 PDE를 해결하는 데 표준 DNN보다 뛰어난가?
• RQ3 컴 pact한 지지도를 가진 활성화 함수의 사용이 다중 척도 해상도와 학습 속도에 어떤 영향을 미치는가?
• RQ4 Ritz 에너지 및 최소 제곱 잔차 손실 함수의 다양한 설정을 통해 MscaleDNN이 자가수반(예: 슈뢰딩거 방정식) 및 비자가수반(예: 포크너-플랭크 방정식) PDE를 효과적으로 다룰 수 있는가?
• RQ5 다중 척도 설계가 단위 이동 기반 방법에 비해 차원의 극복 문제를 어느 정도 완화하는가?

주요 결과

• 100개의 스케일을 가진 MscaleDNN는 고차원 문제에서 Ritz 에너지 및 최소 제곱 잔차 학습 모두에서 단일 척도 DNN보다 빠른 수렴을 달성했다.
• d=25일 때 MscaleDNN는 단일 척도 네트워크보다 학습 오차를 더 빠르게 감소시켜 고차원에서의 확장성을 입증했다.
• sReLU 활성화 함수와 적절한 가중치 초기화(D2)는 특히 고차원에서 수렴 속도를 더욱 가속화시켰다.
• Ritz 에너지 최소화는 첫 번째 도함수만 필요로 하여 최소 제곱 잔차 최소화보다 계산 비용이 저렴했다.
• 이 방법은 sin(xi) + 100sin(10xi) 항을 포함한 저주파수 및 고주파수 성분을 모두 가진 함수를 성공적으로 해결했다.
• 수치 결과는 MscaleDNN가 k-공간에서의 원형 스케일링을 통해 고주파 성분을 학습 가능한 저주파 표현으로 변환함으로써 고주파 성분을 효과적으로 포착함을 확인했다.