[논문 리뷰] Assessment of DeepONet for reliability analysis of stochastic nonlinear dynamical systems

Shailesh Garg, Harshit Gupta외 1명|arXiv (Cornell University)|2022. 01. 31.

Probabilistic and Robust Engineering Design인용 수 9

한 줄 요약

이 논문은 확률적 비선형 동역학 시스템에서 시간에 따라 변화하는 신뢰성 분석과 불확실성 정량화를 위한 효율적인 서브스티튜션 모델로 딥오페넷(DeepONet) — 딥 오퍼레이터 네트워크 — 를 제안한다. 확률적 외란 함수에서 시스템 응답으로의 함수-함수 맵핑을 학습함으로써, DeepONet는 극소수의 훈련 데이터로도 수천 개의 입력 실현값에 대해 고정밀도 예측을 가능하게 하며, 훈련된 바 없는 입력에 대해서도 고정밀도의 제로샷 일반화 능력을 보여준다.

ABSTRACT

Time dependent reliability analysis and uncertainty quantification of structural system subjected to stochastic forcing function is a challenging endeavour as it necessitates considerable computational time. We investigate the efficacy of recently proposed DeepONet in solving time dependent reliability analysis and uncertainty quantification of systems subjected to stochastic loading. Unlike conventional machine learning and deep learning algorithms, DeepONet learns is a operator network and learns a function to function mapping and hence, is ideally suited to propagate the uncertainty from the stochastic forcing function to the output responses. We use DeepONet to build a surrogate model for the dynamical system under consideration. Multiple case studies, involving both toy and benchmark problems, have been conducted to examine the efficacy of DeepONet in time dependent reliability analysis and uncertainty quantification of linear and nonlinear dynamical systems. Results obtained indicate that the DeepONet architecture is accurate as well as efficient. Moreover, DeepONet posses zero shot learning capabilities and hence, a trained model easily generalizes to unseen and new environment with no further training.

연구 동기 및 목표

• 확률적 비선형 동역학 시스템에 대한 전통적 시간에 따라 변화하는 신뢰성 분석의 높은 계산 비용 문제를 해결하기 위해.
• 스토케스틱 하중 조건 하에서 불확실성 정량화 및 신뢰성 분석을 위한 서브스티튜션 모델로서 DeepONet의 적용 가능성을 조사하기 위해.
• 재학습 없이도 새로운 입력 외란 함수에 대해 일반화할 수 있는 능력(제로샷 학습)을 DeepONet가 갖추고 있는지 평가하기 위해.
• 단 몇백 개의 고정밀도 시뮬레이션으로부터 수천 개의 시스템 응답을 예측함으로써 계산 효율성을 입증하기 위해.
• 모든 자유도를 계산하지 않고도 특정 출력(예: 특정 DOF에서의 변위)만을 타겟으로 예측함으로써 계산 및 저장 오버헤드를 줄이기 위해.

제안 방법

• 스토케스틱 외란 함수와 해당 시스템 응답의 제한된 수의 고정밀도 시뮬레이션을 기반으로 DeepONet를 훈련시키기 위해.
• 입력 스토케스틱 과정에서 출력 시스템 응답으로의 비선형 오퍼레이터 맵핑을 학습하는 함수-함수 맵핑 아키텍처를 사용하기 위해.
• 입력 함수(예: 스토케스틱 외란)를 처리하는 데 전용인 한 쪽 브런치와 공간/시간 좌표를 처리하는 다른 브런치를 갖춘 이중 브랜치 신경망 구조를 사용하기 위해.
• 훈련 안정성과 수렴성을 향상시키기 위해 Keras 전처리 정규화 레이어 또는 최소-최대 스케일링 등의 정규화 기법을 적용하기 위해.
• 실제 결과와의 비교를 통해 통계적 지표(예: 최초 통과 실패 시간(FPFT)의 확률밀도함수(PDF) 및 변위 응답)를 사용해 예측을 검증하기 위해.
• 예측 정확도를 유지하면서 더 넓은 시간 간격으로 훈련함으로써 더 빠른 추론과 계산 비용 절감을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 DeepONet는 비선형 동역학 시스템에서 스토케스틱 외란 함수에서 시스템 응답으로의 맵핑을 정확히 학습할 수 있는가?
• RQ2 재학습 없이도 새로운, 볼 수 없었던 외란 함수에 대해 DeepONet가 일반화할 수 있는가? 즉, 제로샷 학습 능력을 보여주는가?
• RQ3 DeepONet는 예측 정확도를 유지하면서 시간에 따라 변화하는 신뢰성 분석의 계산 비용을 어느 정도 줄일 수 있는가?
• RQ4 모든 자유도를 계산하지 않고도 특정 시스템 출력(예: 특정 DOF에서의 변위)만 예측할 수 있는가?
• RQ5 다양한 시스템 복잡성, 특히 고차원 비선형 시스템에서 DeepONet의 성능는 어떻게 스케일링되는가?

주요 결과

• DeepONet는 비선형 진동자와 76-DOF 건물 등 여러 사례 연구에서 시스템 응답을 높은 정확도로 예측했으며, 예측 결과가 실제 결과와 매우 유사하게 일치함.
• 모델는 재학습 없이도 훈련 중에 볼 수 없었던 새로운 외란 함수에 대해 정확한 응답을 예측하는 제로샷 일반화 능력을 보여줌.
• 단 몇백 개의 고정밀도 시뮬레이션만으로도 서브스티튜션 모델을 훈련시킬 수 있었으며, 이로 인해 최대 10,000개의 샘플에 대한 추론을 매우 낮은 계산 오버헤드로 수행할 수 있었음.
• 서브스티튜션 모델을 통해 특정 자유도에서의 변위만을 타겟으로 예측할 수 있었으며, 이는 계산 및 저장 요구량을 크게 줄이는 데 기여함.
• 더 넓은 시간 간격으로 훈련함으로써도 예측 정확도를 유지할 수 있었고, 이는 고정밀도 시뮬레이션 결과와의 일치성을 유지하면서도 더 빠른 추론을 가능하게 함.
• 특히 Keras 전처리 정규화 레이어를 사용한 정규화 기법이 모든 사례 연구에서 훈련 안정성과 모델 성능 향상에 기여함.