[논문 리뷰] Solving Falkner-Skan type equations via Legendre and Chebyshev Neural Blocks

Alireza Afzal Aghaei, Kourosh Parand외 2명|arXiv (Cornell University)|2023. 08. 07.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 고정밀도로 비선형 Falkner-Skan 방정식을 해결하기 위해 직교 다항식을 활용하는 새로운 딥러닝 아키텍처인 레전드르 및 체비셰프 신경 블록(LCDNN)을 제안한다. 네트워크에 도함수의 운영 행렬을 통합함으로써 역전파의 복잡성을 감소시키고, Blasius 및 Pohlhausen 유동과 같은 다양한 유동 구성을 포함한 여러 흐름 구성에서 뛰어난 수렴성과 정밀도를 달성한다.

ABSTRACT

In this paper, a new deep-learning architecture for solving the non-linear Falkner-Skan equation is proposed. Using Legendre and Chebyshev neural blocks, this approach shows how orthogonal polynomials can be used in neural networks to increase the approximation capability of artificial neural networks. In addition, utilizing the mathematical properties of these functions, we overcome the computational complexity of the backpropagation algorithm by using the operational matrices of the derivative. The efficiency of the proposed method is carried out by simulating various configurations of the Falkner-Skan equation.

연구 동기 및 목표

• 직교 다항식을 사용하여 비선형 상미분방정식의 근사 정확도를 향상시키는 딥러닝 프레임워크를 개발한다.
• 레전드르 및 체비셰프 다항식에서 유도된 도함수의 운영 행렬을 통합하여, 미분 방정식을 푸는 신경망에서 역전파의 계산 복잡도를 감소시킨다.
• Blasius, Pohlhausen, Hiemenz 흐름을 포함한 벤치마크인 Falkner-Skan 문제에 대해 제안된 아키텍처를 검증한다.
• 기존의 수치적 및 해석적 방법과 비교하여 레전드르 및 체비셰프 기반 딥신경망(LCDNN)의 성능을 평가한다.
• Falkner-Skan 방정식의 다양한 매개변수, 예를 들어 α와 β에 대해 이 방법의 확장성과 강건성을 보여준다.

제안 방법

• 레전드르 및 체비셰프 직교 다항식을 활성화 함수로 사용하여 전용 신경망 레이어인 LegendreBlock 및 ChebyshevBlock를 설계한다.
• 도함수의 운영 행렬을 통합하여 기울기를 해석적으로 계산함으로써, 역전파 과정에서 수치 미분에 의존하는 것을 줄인다.
• 이러한 블록을 사용하여 약한 형태의 Falkner-Skan 방정식 해를 근사하는 딥신경망 아키텍처를 구성한다.
• 콜로케이션 점에서 평균 제곱오차(MSE) 및 잔차 오차 지표를 사용하여 손실 최소화 기반으로 네트워크를 훈련시킨다.
• PyTorch를 사용하여 모델을 구현하고 GPU 가속을 적용하여 훈련 속도와 확장성을 향상시킨다.
• α와 β의 다양한 값에 대해 Falkner-Skan 방정식의 여러 구성에 적용하여 일반화 능력과 정확도를 평가한다.

Figure 1: A boundary layer flow over a wedge

실험 결과

연구 질문

• RQ1 레전드르 및 체비셰프 신경 블록은 비선형 경계값 문제를 해결하는 데 있어 딥신경망의 근사 정확도를 크게 향상시킬 수 있는가?
• RQ2 도함수의 운영 행렬은 도함수를 포함하는 신경망에서 역전파의 계산 비용을 어느 정도 감소시키는가?
• RQ3 기존의 수치적 방법들, 예를 들어 테일러 급수나 고차수 방법과 비교했을 때, 제안된 LCDNN 방법은 정확도와 수렴 속도에서 어떤가?
• RQ4 직교 다항식의 성질을 통합함으로써 네트워크의 일반화 능력이 다양한 Falkner-Skan 흐름 구성에 대해 향상되는가?
• RQ5 Falkner-Skan 방정식에서 극단적인 매개변수 값, 예를 들어 β = 40일 경우에도 이 방법이 높은 정밀도를 유지할 수 있는가?

주요 결과

• Blasius 흐름에 대해 LCDNN 방법은 g′′(0) = 0.3320590을 도출하여 기준값(예: Parand: 0.3320573)과 매우 유사했으며, MSE는 8.942052e-08을 기록했다.
• Pohlhausen 흐름(α=0, β=1)의 경우 LCDNN은 g′′(0) = 1.154709를 계산했으며, 해석적 값 1.154700538과 일치했다.
• Homann 흐름(α=1, β=0.5)에서 LCDNN의 결과인 1.311937은 표준 해와 1e-5 이내로 일치했으며, LDNN 방법을 능가했다.
• 고값의 β(예: β=40)에 대해서도 LCDNN은 g′′(0) = 7.314785를 계산했으며, QLM, 테일러 급수 및 고차수 방법과 6자리 소수까지 일치했다.
• 모든 테스트 구성에서 일관된 정확도를 보였으며, MAE 값은 3e-4 이하였고, 훈련 에포크가 진행됨에 따라 잔차 오차가 점차 감소했다.
• 운영 행렬의 사용으로 훈련 시간이 단축되고 수렴성이 향상되었으며, 손실 함수가 에포크에 따라 감소하고 도메인 전역에서 잔차가 낮게 유지되는 것으로 확인되었다.

Figure 2: Legendre and Chebyshev Blocks