[논문 리뷰] On the approximation of the solution of partial differential equations by artificial neural networks trained by a multilevel Levenberg-Marquardt method

Henri Calandra, Serge Gratton외 2명|arXiv (Cornell University)|2019. 04. 09.

Model Reduction and Neural Networks참고 문헌 49인용 수 4

한 줄 요약

이 논문은 부분미분방정식(PDE)의 해를 근사하기 위해 피드포워드 신경망을 훈련시키기 위한 다수준 Levenberg-Marquardt 방법을 제안한다. PDE 잔차를 손실 함수로 사용하는 최소제곱 최적화 문제로 문제를 재구성하고, 전이 연산자에 대해 해석적 다중격자 기반 히وري스틱 계층을 도입함으로써, 표준 단일수준 훈련에 비해 수렴 속도를 높이고 계산 비용을 감소시켰다—최대 2배의 정밀도 연산 수 감소—정확도를 유지하면서도 성능 향상을 이룬다.

ABSTRACT

This paper is concerned with the approximation of the solution of partial differential equations by means of artificial neural networks. Here a feedforward neural network is used to approximate the solution of the partial differential equation. The learning problem is formulated as a least squares problem, choosing the residual of the partial differential equation as a loss function, whereas a multilevel Levenberg-Marquardt method is employed as a training method. This setting allows us to get further insight into the potential of multilevel methods. Indeed, when the least squares problem arises from the training of artificial neural networks, the variables subject to optimization are not related by any geometrical constraints and the standard interpolation and restriction operators cannot be employed any longer. A heuristic, inspired by algebraic multigrid methods, is then proposed to construct the multilevel transfer operators. Numerical experiments show encouraging results related to the efficiency of the new multilevel optimization method for the training of artificial neural networks, compared to the standard corresponding one-level procedure.

연구 동기 및 목표

• 고차원 또는 극도로 비선형적인 PDE를 위한 인공신경망(ANN) 훈련 문제를 해결하기 위해, 표준 최적화 방법이 느린 수렴과 높은 계산 비용을 겪는 문제에 대응하고자 한다.
• 일반적으로 PDE 해법에 사용되는 다중격자 원리를, 신경망 훈련에 적용하기 위해 최적화 문제의 계층적 구조를 구성하고자 한다.
• 신경망 가중치에 기하학적 구조가 없을 경우, 대수적 다중격자(AMG) 기법을 영감으로 삼아 다수준 전이 연산자를 정의하는 히وري스틱 방법을 개발하고자 한다.
• 다수준 최적화가 PDE 해 근사 문제의 수렴 속도와 계산 효율성 측면에서 표준 단일수준 Levenberg-Marquardt 훈련에 비해 뛰어나지 못할지 평가하고자 한다.
• 신경망 훈련에서 발생하는 비기하학적, 대규모 최소제곱 문제에 대해 다수준 최적화를 적용할 수 있는지 탐색하고자 한다.

제안 방법

• 피드포워드 신경망을 사용하여 PDE의 해를 근사하고, PDE 잔차를 비선형 최소제곱 문제의 손실 함수로 사용한다.
• 훈련 문제는 다수준 Levenberg-Marquardt(MLM) 방법을 통해 해결되며, 이는 더 희소한 최적화 문제의 계층을 활용하여 수렴 속도를 가속화한다.
• 기하학적 제약이 없음에도 불구하고, 대수적 다중격자(AMG) 기반의 히وري스틱 전이 연산자 구성법을 제안하여, 세밀한 네트워크 가중치 공간과 굵은 네트워크 가중치 공간 간의 매핑을 수행한다.
• 이 방법은 1차원 및 2차원 PDE에 적용되었으며, 헬름홀츠 방정식과 비선형 타원형 방정식을 포함한 다양한 네트워크 폭과 PDE 파라미터를 사용하였다.
• MLM 방법의 성능은 반복 횟수, RMSE, 계산 비용(정밀도 연산 수) 측면에서 표준 단일수준 Levenberg-Marquardt(LM) 방법과 비교되었다.
• 이 접근법은 해가 신경망으로 표현되는 다른 최소제곱 문제, 예를 들어 미분방정식(OED)과 역문제 등에도 일반화 가능하다.

실험 결과

연구 질문

• RQ1 기존에 PDE 해법에 사용되던 다수준 최적화 기법을, PDE 해 근사에 사용되는 인공신경망 훈련에 효과적으로 적용할 수 있는가?
• RQ2 최적화 변수(신경망 가중치)에 기하학적 구조가 없을 경우, 효과적인 다수준 전이 연산자를 어떻게 구성할 수 있는가?
• RQ3 제안된 다수준 Levenberg-Marquardt 방법이 PDE 연관 훈련 문제에서 표준 단일수준 방법보다 더 빠른 수렴 속도와 낮은 계산 비용을 달성할 수 있는가?
• RQ4 특히 복잡하거나 고차원적인 PDE에 대해 다수준 접근법이 단일수준 훈련에 비해 정확도를 얼마나 잘 유지하는가?
• RQ5 이 방법은 더 깊거나 다층 신경망으로 확장될 수 있으며, 비선형성 증가로 인해 발생하는 도전 과제는 무엇인가?

주요 결과

• 대부분의 시험 케이스에서 다수준 Levenberg-Marquardt(MLM) 방법은 단일수준 방법보다 반복 횟수가 적었으며, 특히 비선형성이 높은 문제(예: ν=20)에서 두드러졌다.
• 어느 경우에서는 더 많은 반복을 수행했지만, MLM 방법은 1차원 문제에 대해 최대 5.3배, 2차원 문제에 대해 최대 1.8배의 정밀도 연산 수 감소를 이룩했으며, 평균적으로 약 2배의 성능 향상을 보였다.
• 해의 평균제곱오차(RMSE)는 MLM과 단일수준 훈련 간에 유사했으며, ν=20일 경우 10⁻⁵, ν=1일 경우 10⁻³로 정확도 손실이 없음을 시사했다.
• 디리클레 조건이 적용된 2차원 헬름홀츠 방정식의 경우, 200회 이내의 반복으로 합리적인 근사 해를 도출했으며, 추가 반복이 정확도 향상에 기여하지 못했다.
• 다양한 유형의 PDE와 네트워크 크기에서 강건성을 보였으며, 더 복잡한 문제일수록 더 넓은 네트워크 폭(r=2⁹)이 요구되면서 성능 향상이 증가했다.
• 기하학적 제약 없이도 대수적 다중격자 원리를 기반으로 한 히وري스틱 전이 연산자 구성법이 효과적으로 기능하는 다수준 계층을 형성하는 데 성공했다.