[논문 리뷰] Self-scalable Tanh (Stan): Faster Convergence and Better Generalization in Physics-informed Neural Networks

Raghav Gnanasambandam, Bo Shen외 4명|arXiv (Cornell University)|2022. 04. 26.

Model Reduction and Neural Networks인용 수 14

한 줄 요약

이 논문은 물리기반신경망(PINNs)을 위한 학습가능하고 부드럽고 포화되지 않는 활성화 함수인 Self-scalable Tanh(Stan)을 제안한다. Stan은 기울기 흐름을 향상시키고 입력-출력 맵핑의 체계적 스케일링을 가능하게 하며, 부작위 정적점(spurious stationary points)을 제거하고, 특히 고출력 크기 문제에서 더 빠른 수렴과 더 나은 일반화 성능을 달성한다. 기존 활성화 함수보다 전방 및 역방향 문제에서 편미분방정식(PDEs)을 해결할 때 더 뛰어난 성능을 발휘한다.

ABSTRACT

Physics-informed Neural Networks (PINNs) are gaining attention in the engineering and scientific literature for solving a range of differential equations with applications in weather modeling, healthcare, manufacturing, etc. Poor scalability is one of the barriers to utilizing PINNs for many real-world problems. To address this, a Self-scalable tanh (Stan) activation function is proposed for the PINNs. The proposed Stan function is smooth, non-saturating, and has a trainable parameter. During training, it can allow easy flow of gradients to compute the required derivatives and also enable systematic scaling of the input-output mapping. It is shown theoretically that the PINNs with the proposed Stan function have no spurious stationary points when using gradient descent algorithms. The proposed Stan is tested on a number of numerical studies involving general regression problems. It is subsequently used for solving multiple forward problems, which involve second-order derivatives and multiple dimensions, and an inverse problem where the thermal diffusivity of a rod is predicted with heat conduction data. These case studies establish empirically that the Stan activation function can achieve better training and more accurate predictions than the existing activation functions in the literature.

연구 동기 및 목표

• 물리기반신경망(PINNs)에서 기울기 소실과 출력 스케일 불안정성 문제를 해결하여 학습과 일반화를 방해하는 요소를 제거한다.
• PINNs에서 역전파 동안 부드럽고 스케일링 가능하며 학습가능한 기울기 흐름을 가능하게 하는 활성화 함수를 개발한다.
• 이론적으로 근거가 있는 활성화 함수를 통해 PINN 최적화에서 부작위 정적점을 제거한다.
• 편미분방정식(PDEs)을 포함한 전방 및 역방향 문제에서 학습 속도와 예측 정확도를 향상시킨다.
• 기본 활성화 함수가 실패하는 고출력 크기 시나리오에서도 강력한 성능을 발휘할 수 있도록 한다.

제안 방법

• 각 뉴런당 학습가능한 파라미터인 $ \beta $를 갖는 새로운 활성화 함수인 Self-scalable Tanh(Stan)을 제안하며, 수식은 $ \text{Stan}(x) = \beta \cdot \tanh(x) $ 로 정의된다.
• PINNs의 히든 레이어에 Stan을 통합하여 활성화의 동적 스케일링과 기울기 전파 향상을 가능하게 한다.
• 이론적으로 기울기 하강법 하에서 PINNs가 Stan을 사용할 경우 부작위 정적점이 존재하지 않음을 증명하여 전역 최소값으로 수렴함을 보장한다.
• 데이터 적합성과 물리 일관성 항을 포함한 손실 함수를 설정하고, 기울기를 Differentiable한 Stan 함수를 통해 역전파로 계산한다.
• 스토하스틱 기울기 하강법을 사용하여 네트워크 가중치와 학습가능한 $ \beta $ 파라미터를 동시에 최적화한다.
• 출력 정규화가 필요 없도록 $ \beta $의 자기스케일링 특성을 활용하여 정규화 없는 학습을 구현한다.

실험 결과

연구 질문

• RQ1 학습가능한 활성화 함수가 PINN 최적화에서 부작위 정적점을 제거하여 전역 최소값으로 수렴함을 보장할 수 있는가?
• RQ2 Stan의 자기스케일링 특성이 고출력 크기 문제를 포함한 PINNs에서 기울기 흐름과 학습 안정성을 어떻게 향상시키는가?
• RQ3 전방 및 역방향 PDE 문제에서 수렴 속도와 예측 정확도 측면에서 Stan이 표준 활성화 함수(tanh, ReLU, SELU 등)를 초월하는가?
• RQ4 출력 정규화가 필요 없이 두 번째 도함수와 다중 공간 차원을 포함한 PDE를 효과적으로 처리할 수 있는가?
• RQ5 열전도 데이터에서 열확산도를 식별하는 역문제에서 Stan은 어떻게 성능을 발휘하는가?

주요 결과

• Stan은 이론적으로 부작위 정적점이 없음을 증명하여 기울기 하강법이 전역 최소값으로 수렴함을 보장한다.
• 모든 테스트된 회귀, 전방 및 역방향 문제에서 기준 활성화 함수보다 더 빠른 수렴을 달성한다.
• 고출력 크기 문제(예: 0–2000°C 범위의 온도)에서는 Stan이 기존 활성화 함수보다 뚜렷이 뛰어나며, 기울기 소실로 인해 종종 실패하는 것을 방지한다.
• 열확산도 식별 역문제에서 Stan은 기존 활성화 함수보다 더 정확하고 안정적인 예측을 달성한다.
• 실험 결과에 따르면 Stan은 더 나은 일반화 성능을 보이며, 전방 및 역방향 PDE 작업에서 미리 보지 않은 데이터 포인트에 대해서도 더 정확한 예측을 한다.
• 학습가능한 $ \beta $ 파라미터는 출력 범위의 자동 스케일링을 가능하게 하여 데이터 정규화가 필요 없어지고 실세계 적용에서 더 높은 강건성을 확보한다.