[논문 리뷰] A Phase Shift Deep Neural Network for High Frequency Approximation and Wave Problems

Wei Cai, Xiaoguang Li외 1명|arXiv (Cornell University)|2019. 09. 23.

Model Reduction and Neural Networks참고 문헌 11인용 수 7

한 줄 요약

이 논문은 주파수 도메인에서의 단위 이동을 활용하여 고주파 함수와 파동 해를 균일하게 넓은 대역에서 수렴할 수 있도록 하는 새로운 아키텍처인 단위 이동 딥뉴럴넷(PhaseDNN)을 소개한다. 고주파 성분을 저주파 영역으로 옮김으로써 표준 DNN이 진동 함수를 효율적으로 학습할 수 있도록 하여, 최소한의 학습 반복 수로 비균일한 매질 내 헬름홀츠 방정식 해를 정확하게 근사한다.

ABSTRACT

In this paper, we propose a phase shift deep neural network (PhaseDNN), which provides a uniform wideband convergence in approximating high frequency functions and solutions of wave equations. The PhaseDNN makes use of the fact that common DNNs often achieve convergence in the low frequency range first, and a series of moderately-sized DNNs are constructed and trained for selected high frequency ranges. With the help of phase shifts in the frequency domain, each of the DNNs will be trained to approximate the function's higher frequency content over a specific range at the the speed of convergence as in the low frequency range. As a result, the proposed PhaseDNN is able to convert high frequency learning to low frequency one, allowing a uniform learning to wideband functions. The PhaseDNN will then be applied to find the solution of high frequency wave equations in inhomogeneous media through both differential and integral equation formulations with least square residual loss functions. Numerical results have demonstrated the capability of the PhaseDNN in learning high frequency functions and oscillatory solutions of interior and exterior Helmholtz equations.

연구 동기 및 목표

• 고주파 함수와 진동 파동 해를 근사할 때 DNN의 수렴 성능이 열 劣화되는 문제를 해결하기 위해.
• 표준 DNN가 학습 중 저주파 성분을 우선시하는 주파수 의존적 수렴 행동을 극복하기 위해.
• 모든 주파수 범위에서 균일하게 학습할 수 있는 DNN 아키텍처를 개발하기 위해.
• 최소 제곱 잔차 최소화 방법을 사용하여 비균일한 매질 내 고주파 파동 방정식을 효율적으로 해결하기 위해.

제안 방법

• PhaseDNN는 주파수 도메인에서의 단위 이동을 사용하여 고주파 성분을 DNN가 신속히 수렴하는 저주파 영역으로 옮긴다.
• 병렬 PhaseDNN 아키텍처는 학습 데이터를 주파수 대역으로 분해하고, 단위 이동을 적용한 후 각 이동된 대역에 대해 별도의 DNN을 훈련시킨다.
• 빈도 분해의 비용을 피하기 위해 단위 이동을 네트워크 구조에 직접 통합한 결합된 PhaseDNN 설정을 도입한다.
• 최소 제곱 잔차 손실 함수를 사용하여 헬름홀츠 방정식의 미분 및 적분 형태를 해결한다.
• 이론적 분석 결과, 단위 이동 파rameter η가 0에 가까워질수록 DNN 간의 교차 주파수 간섭이 감소함을 확인하였다.
• 손실 함수는 이동된 주파수 대역에 대한 개별 손실의 합으로 근사되며, 이는 저주파로 변환된 함수에 대해 DNN를 독립적으로 훈련시킬 수 있음을 가능하게 한다.

실험 결과

연구 질문

• RQ1 주파수 도메인에서의 단위 이동이 고주파 학습을 저주파 학습으로 변환하여 모든 주파수에서 균일한 수렴을 가능하게 할 수 있는가?
• RQ2 과도한 학습 에포크 수 없이도 고주파 성분에 대해 빠른 수렴을 유지할 수 있도록 DNN를 어떻게 구성할 수 있는가?
• RQ3 단위 이동 파rameter가 파동 방정식 해를 구할 때 근사 오차와 수렴 행동에 미치는 영향은 어떠한가?
• RQ4 결합된 PhaseDNN 설정은 빈도 분해의 계산 비용을 피하면서도 정확도를 유지할 수 있는가?
• RQ5 PhaseDNN는 헬름홀츠 방정식의 고도로 진동하는 해를 근사할 때 표준 DNN보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• PhaseDNN는 단위 이동을 통해 고주파 성분을 저주파 영역으로 변환함으로써 모든 주파수 대역에서 빠른 학습이 가능한 균일한 넓은 대역 수렴을 달성한다.
• 수치 결과는 PhaseDNN가 고주파 함수와 내부 및 외부 헬름홀츠 방정식의 진동 해를 정확하게 근사함을 보여준다.
• 결합된 PhaseDNN 설정은 비용이 많이 드는 빈도 분해를 피하여 고차원 문제에 대해 확장 가능하다.
• 이론적 분석은 단위 이동 파arameter η가 0에 가까워질수록 DNN 간의 교차 주파수 간섭이 감소함을 확인한다.
• 손실 함수 근사 결과, 총 손실이 이동된 주파수 대역에 대한 개별 손실의 합으로 줄어들며, 이는 분리 전략의 타당성을 검증한다.
• 이 방법은 고주파 성분이 풍부한 비균일한 매질 내 파동 방정식을 효율적으로 해결할 수 있으며, 수렴 속도와 정확도 면에서 표준 DNN를 능가한다.