[논문 리뷰] Multi-stage Neural Networks: Function Approximator of Machine Precision

Yongji Wang, Ching‐Yao Lai|arXiv (Cornell University)|2023. 07. 18.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 이전 단계의 잔차에서 반복적으로 별도의 네트워크를 훈련하는 다단계 신경망(MSNN)을 제안한다. 이를 통해 이중 정밀도 부동소수점 산술에서 기계 정밀도(~10^{-16})에 도달하는 함수 근사가 가능해진다. 잔차 크기가 순차적으로 감소하며 역수법칙 관계를 따르게 함으로써 MSNN은 스펙트럼 편향을 극복하고 회귀 및 물리 기반 신경망에서 거의 기계 정밀도 수준의 정확도를 달성한다.

ABSTRACT

Deep learning techniques are increasingly applied to scientific problems, where the precision of networks is crucial. Despite being deemed as universal function approximators, neural networks, in practice, struggle to reduce the prediction errors below $O(10^{-5})$ even with large network size and extended training iterations. To address this issue, we developed the multi-stage neural networks that divides the training process into different stages, with each stage using a new network that is optimized to fit the residue from the previous stage. Across successive stages, the residue magnitudes decreases substantially and follows an inverse power-law relationship with the residue frequencies. The multi-stage neural networks effectively mitigate the spectral biases associated with regular neural networks, enabling them to capture the high frequency feature of target functions. We demonstrate that the prediction error from the multi-stage training for both regression problems and physics-informed neural networks can nearly reach the machine-precision $O(10^{-16})$ of double-floating point within a finite number of iterations. Such levels of accuracy are rarely attainable using single neural networks alone.

연구 동기 및 목표

• 크기와 훈련 시간이 매우 긴 경우에도 예측 오차가 10^{-5} 이하로 떨어지지 않는 딥 뉴럴 네트워크의 지속적인 한계를 해결하기 위해.
• 표준 신경망에서 고주파 특징을 포착하는 것을 방해하는 스펙트럼 편향을 극복하기 위해.
• 이중 정밀도 산술에서 기계 정밀도(O(10^{-16}))에 수렴하는 훈련 프레임워크를 개발하기 위해.
• 과학 계산에서의 물리 기반 신경망(PINNs)과 역문제에 이 방법을 확장하기 위해.
• 일관된 수렴과 오차 감소를 보장하는 체계적이고 단계적인 훈련 프로토콜을 제공하기 위해.

제안 방법

• 훈련 과정을 여러 단계로 나누며, 각 단계에서 이전 단계의 잔차 오차에서 새로운 신경망을 훈련시킨다.
• PINNs의 경우 데이터 손실, 방정식 손실, 부드러움 제약 조건을 모두 포함한 다단계 손실 함수를 사용한다.
• 잔차 주파수에 따라 잔차 크기의 감쇠를 기술하기 위해 역수법칙 모델을 적용한다.
• 편미분방정식(PDE)의 특이점을 분석하기 위해 자기유사 좌표 변환을 도입하여 폭발 시간 근처에서 고해상도 연구를 가능하게 한다.
• 해의 물리적 대칭성을 보장하기 위해 홀수 대칭 신경망 아키텍처를 활용한다.
• 특히 특이점이나 비연속점과 같은 중요한 지점 근처에서 방정식 잔차에 대해 적응형 콜로케이션 샘플링을 구현한다.

실험 결과

연구 질문

• RQ1 다단계 훈련이 신경망 예측 오차를 O(10^{-5}) 이하로 낮추고 기계 정밀도 수준인 O(10^{-16})에 접근할 수 있는가?
• RQ2 잔차 크기는 단계 간에 어떻게 감쇠하는가? 그리고 잔차 주파수와 예측 가능한 역수법칙 관계를 따르는가?
• RQ3 다단계 프레임워크는 스펙트럼 편향을 효과적으로 완화하고 목표 함수의 고주파 성분을 포착할 수 있는가?
• RQ4 특이점이나 비연속적인 해를 가진 편미분방정식을 풀이하는 물리 기반 신경망(PINNs)에 이 방법을 어떻게 확장할 수 있는가?
• RQ5 고차 도함수의 비연속성을 감지함으로써 매개변수 λ = 0.5에서 부드러운 해를 신뢰성 있게 식별할 수 있는가?

주요 결과

• 다단계 신경망은 기계 정밀도 수준인 O(10^{-16})에 도달하는 예측 오차를 달성한다. 이는 이중 정밀도 부동소수점 산술에서 기계 정밀도에 근접한다.
• 잔차 주파수에 따라 단계 간 잔차 크기가 역수법칙 관계를 따르며 체계적인 오차 감소를 나타낸다.
• 표준 네트워크가 넓은 너비와 장시간 훈련을 거쳐도 근사하지 못하는 목표 함수의 고주파 성분을 성공적으로 포착한다.
• 자기유사 부르거 방정식을 푸는 물리 기반 신경망(PINNs)의 경우, 방정식 잔차의 세 번째 도함수에서 비연속성을 감지함으로써 λ = 0.5에서 부드러운 해를 식별한다.
• 방정식 잔차의 세 번째 도함수를 기반으로 한 부드러움 제약 조건을 포함함으로써 네트워크는 부드러운 해와 비부드러운 해를 구분할 수 있다.
• 다단계 접근법은 모든 단계에서 높은 수렴 속도를 유지하며, 표준 훈련에서 관찰되는 정체 현상을 피한다.