[논문 리뷰] Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics

L. Vu‐Quoc, Alexander Humer|arXiv (Cornell University)|2022. 12. 18.

Computational Physics and Python Applications인용 수 5

한 줄 요약

이 종합적 리뷰는 기계적 계산과 딥러닝(DL)을 통합하며, PDE를 해결하기 위한 하이브리드 및 순수 ML 방법, 모델 순서 감소, 수치적 통합을 다룹니다. 최신의 DL 아키텍처—LSTM, 트랜스포머, PINNs—와 함께 최적화 기법, 커널 방법, 고체 및 유체역학 분야의 실용적 응용을 상세히 제시하며, 과학 분야에서 AI의 한계를 비판적으로 분석하고 재현 가능성에 중점을 둡니다.

ABSTRACT

Three recent breakthroughs due to AI in arts and science serve as motivation: An award winning digital image, protein folding, fast matrix multiplication. Many recent developments in artificial neural networks, particularly deep learning (DL), applied and relevant to computational mechanics (solid, fluids, finite-element technology) are reviewed in detail. Both hybrid and pure machine learning (ML) methods are discussed. Hybrid methods combine traditional PDE discretizations with ML methods either (1) to help model complex nonlinear constitutive relations, (2) to nonlinearly reduce the model order for efficient simulation (turbulence), or (3) to accelerate the simulation by predicting certain components in the traditional integration methods. Here, methods (1) and (2) relied on Long-Short-Term Memory (LSTM) architecture, with method (3) relying on convolutional neural networks. Pure ML methods to solve (nonlinear) PDEs are represented by Physics-Informed Neural network (PINN) methods, which could be combined with attention mechanism to address discontinuous solutions. Both LSTM and attention architectures, together with modern and generalized classic optimizers to include stochasticity for DL networks, are extensively reviewed. Kernel machines, including Gaussian processes, are provided to sufficient depth for more advanced works such as shallow networks with infinite width. Not only addressing experts, readers are assumed familiar with computational mechanics, but not with DL, whose concepts and applications are built up from the basics, aiming at bringing first-time learners quickly to the forefront of research. History and limitations of AI are recounted and discussed, with particular attention at pointing out misstatements or misconceptions of the classics, even in well-known references. Positioning and pointing control of a large-deformable beam is given as an example.

연구 동기 및 목표

• PDE를 해결하고 시뮬레이션 비용을 줄이기 위해 딥러닝을 전통적인 PDE 솔버와 융합하는 데 목적이 있습니다.
• 딥러닝 기초—역전파에서 현대적 최적화 기법까지—를 통합하고 접근하기 쉬운 리뷰를 제공하여, 딥러닝에 익숙하지 않은 기계적 계산 분야 연구자들을 대상으로 합니다.
• 특히 재현 가능성, 일반화 능력, 적응형 최적화 기법의 과대포지션에 대한 오해와 한계를 비판적으로 검토합니다.
• LSTM 기반의 물성 모델링, 오토에인코드 기반의 ROM, 주목적 기반 신경망(PINNs)에 주목하는 기법을 포함한 실용적 응용을 제시합니다.
• 과학적 딥러닝 응용 분야에서 투명성 문제와 재현 가능한 결과의 필요성을 강조함으로써 AI 연구의 방법론적 엄밀함을 주장합니다.

제안 방법

• 다양한 스케일의 지질역학 및 유체를 포함한 다공성 매질에서의 비율 의존성 물성 거동을 모델링하고, 감소된 순서 모델에서 시간 적분기로 사용하기 위해 장기 단기 기억(LSTM) 네트워크를 사용합니다.
• 비선형 PDE를 해결하기 위해 주목적 기반 신경망(PINNs)에 주목 기반 메커니즘을 적용합니다. 특히 불연속적 해를 갖는 문제에 유리합니다.
• 간격 데이터를 사용한 오토에인코드와 초과감소 기법을 활용하여, 유체역학 및 고체역학에서 비선형 다양체 기반의 모델 순서 감소(MOR)를 가능하게 합니다.
• 확률적 최적화 방법을 검토하고 유도하며, 학습률 감소, 운동량가속화된 경사하강법(SGD), 적응형 방법(Adam, AdamW)을 포함합니다. 이들 기법은 시뮬레이션 냉각과 확률적 미분 방정식과 연결됩니다.
• 무한한 너비 근사에서의 커널 머신과 가우시안 프로세스를 도입하여 고급 비모수적 모델링과 불확실성 추정을 지원합니다.
• 학습률 감소의 대안으로서 단계 길이 감소와 배치 크기 스케일링을 포함한 최적화 알고리즘에 대한 상세한 의사코드와 유도 과정을 제공합니다.

실험 결과

연구 질문

• RQ1 딥러닝은 기존의 PDE 솔버와 어떻게 효과적으로 융합되어 기계적 계산 분야에서 계산 비용을 줄일 수 있을까요?
• RQ2 적응형 최적화 기법인 Adam은 물리 기반 모델링을 위한 정밀하게 튜닝된 SGD와 비교해 어떤 강점과 한계를 지닙니까?
• RQ3 주목적 기반 메커니즘과 트랜스포머 아키텍처는 불연속성이나 급격한 기울기를 갖는 PDE의 해를 어떻게 향상시킬 수 있나요?
• RQ4 딥러닝으로 학습된 오토에인코드와 감소된 순서 모델은 유체역학 및 고체역학에서 고정밀도 시뮬레이션을 얼마나 대체할 수 있을까요?
• RQ5 왜 AI 연구, 특히 과학적 응용 분야에서 하이퍼파rameter와 학습 프로토콜의 부실한 문서화로 인해 재현 가능성이 심각하게 훼손되나요?

주요 결과

• LSTM 네트워크는 다중 스케일 지질역학 및 다공성 매질 내 유체를 포함한 복잡한 비율 의존성 물성 거동을 효과적으로 모델링하여 효율적인 감소된 순서 시뮬레이션을 가능하게 합니다.
• 주목적 기반 메커니즘을 갖춘 PINNs는 PDE의 불연속적 해를 처리할 수 있으며, 어려운 유체역학 및 고체역학 문제에서 표준 PINNs보다 정확도를 높입니다.
• 적응형 최적화 기법인 Adam은 잘 튜닝된 학습률 감소를 적용한 SGD에 비해 일반화 성능 향상 효과가 미미하여 과학적 딥러닝 분야에서의 광범위한 사용에 의문을 제기합니다.
• 확률적 최적화에서 단계 길이 감소는 확률적 미분 방정식을 통해 시뮬레이션 냉각과 수학적으로 동일하며, 이는 배치 크기 증가가 학습률 감소의 대안으로서 더 나은 수렴을 이끌 수 있음을 시사합니다.
• 하이퍼파rameter(학습률, 배치 크기, 최적화 기법 설정 등)의 누락된 문서화로 인해 AI의 재현 가능성이 심각하게 손상되며, 이는 부족한 문서화로 인해 결과가 검증되지 못한 유방암 검출 사례 연구를 통해 확인되었습니다.
• 커널 머신, 특히 무한한 너비 근사에서의 가우시안 프로세스는 견고한 불확실성 추정을 제공하며, 비모수적 모델링 분야에서 현대 딥러닝 이론의 기초를 형성합니다.