[논문 리뷰] Multiscale DeepONet for Nonlinear Operators in Oscillatory Function Spaces for Building Seismic Wave Responses

Lizuo Liu, Wei Cai|arXiv (Cornell University)|2021. 11. 08.

Model Reduction and Neural Networks참고 문헌 10인용 수 16

한 줄 요약

이 논문은 고주파 진동을 갖는 지진 동요에서 건물 구조물 응답으로의 비선형 연산자들을 정확하게 학습하기 위해 진폭 분리와 다중 척도 신경망을 활용하는 다중 척도 DeepONet을 제안한다. 신호를 별개의 진폭-주파수 성분으로 분해하고 전용 DeepONet 아키텍처를 사용함으로써, 테스트 케이스에서 평균 상대 L2 오차가 0.13이고 추론 시간이 O(10⁻²) 초 수준으로 매우 빠르게 성능을 달성하였으며, 표준 DeepONet 및 다중 척도 DNN 기반 모델보다 뚜렷이 뛰어나다.

ABSTRACT

In this paper, we propose a multiscale DeepONet to represent nonlinear operator between Banach spaces of highly oscillatory continuous functions. The multiscale deep neural network (DNN) utilizes a multiple scaling technique to convert high frequency function to lower frequency functions before using a DNN to learn a specific range of frequency of the function. The multi-scale concept is integrated into the DeepONet which is based on a universal approximation theory of nonlinear operators. The resulting multi-scale DeepONet is shown to be effective to represent building seismic response operator which maps oscillatory seismic excitation to the oscillatory building responses.

연구 동기 및 목표

• 높은 주파수 성분을 갖는 함수 공간 간의 비선형 연산자를 정확하게 학습할 수 있는 딥러닝 프레임워크를 개발하는 것, 특히 건물의 지진파 응답 예측에 초점한다.
• 지진 신호에서 진폭-주파수 간 격차가 큰 문제를 해결함으로써 표준 신경망 성능 저하를 완화하는 것.
• 다중 척도 딥뉴럴넷 원리와 DeepONet 아키텍처를 융합하여 바나흐 공간 내의 진동 연산자 근사화를 향상시키는 것.
• 기존 유한요소법이 요구하는 O(10²–10³) 초의 높은 계산 비용을 초월하여 건물의 지진 동요에 대한 실시간 응답 예측을 가능하게 하는 것.

제안 방법

• 이 방법은 다중 척도 DeepONet을 활용하여 고주파 지진 입력 신호를 처리하기 전에 저주파 표현으로 변환하는 다중 척도 기법을 적용한다.
• 다양한 주파수 성분 간 진폭 격차가 큰 신호를 다룰 수 있도록 아키텍처 내부에 진폭 분리를 통합한다.
• 브랜치 네트워크는 지진 동요 입력을 처리하고, 트렁크 네트워크는 공간적·시간적 응답 출력을 처리하며, 다중 척도 구성 요소가 주파수 해상도를 향상시킨다.
• 다양한 훈련 데이터를 생성하기 위해 무작위 가중치를 부여한 지진 입력과 응답의 초합성을 통한 데이터 증강 기법을 사용하여 과적합을 방지하면서 일반화 성능을 향상시킨다.
• 4층의 완전 연결 트렁크 네트워크와 100개의 서브넷을 갖춘 다중 척도 브랜치 네트워크를 사용하며, 활성화 함수로 ReLU를 사용하고 1500 에포크 동안 학습률 10⁻³로 학습한다.
• 모델은 유한요소 시뮬레이션을 통해 생성된 지진 응답 데이터로 훈련되며, 신호의 정밀도를 향상시키기 위해 지진 기록 전처리 단계에서 앨리어싱 제거 기법이 포함된다.

실험 결과

연구 질문

• RQ1 다중 척도 DeepONet 아키텍처는 고주파 진동을 갖는 지진 동요에서 건물 구조물 응답으로의 비선형 연산자를 높은 정확도와 빠른 속도로 효과적으로 학습할 수 있는가?
• RQ2 다중 척도 DeepONet 아키텍처에 진폭 분리를 통합할 경우, 주파수 대역 간 진폭 격차가 큰 신호에서 성능 향상이 어떻게 이루어지는가?
• RQ3 다중 척도 딥뉴럴넷을 DeepONet 아키텍처와 융합함으로써 표준 DeepONet 또는 단독 다중 척도 DNN에 비해 바나흐 공간 내의 진동 연산자 근사화 성능이 향상되는가?
• RQ4 초합성을 통한 데이터 증강 전략이 지진 응답 연산자 학습 시 일반화 성능 향상과 과적합 방지를 얼마나 효과적으로 달성하는가?

주요 결과

• 진폭 분리를 통한 다중 척도 DeepONet는 테스트 케이스에서 평균 상대 L2 오차 0.13을 달성하여 지진 응답 예측의 높은 정확도를 입증하였다.
• 모델은 다수의 층에서 정확한 주파수와 시간 도메인 응답을 예측하였으며, 그림 8의 왼쪽 및 오른쪽 열이 정확한 주파수 및 시간 진동 특성의 캡처를 확인한다.
• 진폭 분리를 통한 다중 척도 DeepONet는 진폭 분리를 적용하지 않은 기준 모델 대비 수렴 속도가 빠르고 일반화 오차가 낮은 것으로 나타났으며, 그림 7이 이를 뒷받침한다.
• 추론 시간을 O(10⁻²) 초로 단축시켜 기존의 유한요소법이 요구하는 O(10²–10³) 초의 계산 비용을 극적으로 감소시켰다.
• 초합성을 통한 데이터 증강 전략은 과적합을 효과적으로 방지하고 다양한 지진 입력에 대한 모델의 강인성을 향상시켰다.
• 아키텍처는 각 층의 응답에서 별개의 주파수-진폭 특성을 성공적으로 포착하였으며, 하층일수록 높은 주파수와 더 작은 진폭을 나타내었다.