[논문 리뷰] A Causality-DeepONet for Causal Responses of Linear Dynamical Systems

Lizuo Liu, Kamaljyoti Nath외 1명|arXiv (Cornell University)|2022. 09. 17.

Structural Health Monitoring Techniques인용 수 8

한 줄 요약

이 논문은 선형 동적 시스템, 특히 건물의 지진 반응에 대해 정확하게 인과 반응 연산자를 학습할 수 있도록 내장된 인과성과 복합 구조를 가진 Causality-DeepONet을 제안한다. 네트워크 아키텍처에 물리적 인과성과 시간 동질성 동역학을 통합함으로써, 단 10개의 훈련 샘플로도 높은 정확도를 달성하며, 표준 DeepONet 버전보다도 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we propose a DeepONet structure with causality to represent the causal linear operators between Banach spaces of time-dependent signals. The theorem of universal approximations to nonlinear operators proposed in \cite{tianpingchen1995} is extended to operators with causalities, and the proposed Causality-DeepONet implements the physical causality in its framework. The proposed Causality-DeepONet considers causality (the state of the system at the current time is not affected by that of the future, but only by its current state and past history) and uses a convolution-type weight in its design. To demonstrate its effectiveness in handling the causal response of a physical system, the Causality-DeepONet is applied to learn the operator representing the response of a building due to earthquake ground accelerations. Extensive numerical tests and comparisons with some existing variants of DeepONet are carried out, and the Causality-DeepONet clearly shows its unique capability to learn the retarded dynamic responses of the seismic response operator with good accuracy.

연구 동기 및 목표

• 선형 동적 시스템, 특히 지진 가속도에 의해 자극받는 구조물 역학에서 인과 반응 연산자를 학습하는 데 도전하는 데에 초점을 맞춘다.
• 현재 시스템 상태가 과거와 현재의 입력에만 의존하는 물리적 인과성(즉, 현재 상태는 과거와 현재의 입력에만 의존함)을 DeepONet 프레임워크에 통합한다.
• 지연된 그린 함수의 시간 동질성 및 복합 구조를 네트워크 가중치에 통합함으로써 일반화 성능을 향상시키고 데이터 요구량을 줄인다.
• 제한된 훈련 데이터로 지반 가속도에 대한 건물 반응을 예측할 때 표준 DeepONet 버전보다 뛰어난 성능을 보여주는 것을 목적으로 한다.

제안 방법

• Causality-DeepONet는 범용 근사 정리의 비선형 연산자 버전을 범주형 공간의 시간에 의존하는 신호 간의 인과 연산자로 확장한다.
• 입력과 출력 간 시간 지연에 따라 달라지는 복합 구조의 가중치로 표준 완전 연결 가중치를 대체함으로써 인과성을 강제한다.
• 시간 기반 기저 함수를 인코딩하기 위해 트렁크 네트워크를 사용하고, 입력 신호(예: 지반 가속도)를 잠재 공간으로 매핑하기 위해 브랜치 네트워크를 사용한다.
• 출력은 트렁크 네트워크 출력의 가중치 합으로 계산되며, 가중치는 브랜치 네트워크에 의해 결정되며 복합 구조, 시간 불변 커널을 반영하도록 설계된다.
• 지난 시점의 입력에 대한 반응을 모델링하는 데 유사한 구조를 가진 지연된 그린 함수의 특성을 반영하기 위해, 시간 지연 간에 공유되는 복합 구조의 가중치를 사용함으로써 시간 동질성 물리적 성질을 아키텍처에 통합한다.
• 과적합을 방지하기 위해 L2 정규화와 학습률 스케줄링을 사용하는 맞춤형 손실 함수를 사용하여 네트워크를 훈련시킨다. 특히 샘플 수가 적을 경우 이는 매우 중요하다.

Figure 1: A typical ground acceleration of due to earthquake: The ground acceleration is due to 14383980 earthquake recorded at station North Hollywood, 2008 (a) time history of the acceleration (b) frequency spectrum. The absolute maximum acceleration is indicated which is also known as Peak Ground

실험 결과

연구 질문

• RQ1 표준 DeepONet 아키텍처를 선형 동적 시스템의 인과 반응 연산자 학습에 적합하게 체계적으로 수정할 수 있는가?
• RQ2 복합 구조의 가중치를 통합함으로써 인과 반응 연산자를 학습할 때 일반화 성능을 향상시키고 데이터 요구량을 줄일 수 있는가?
• RQ3 Causality-DeepONet는 표준 DeepONet 버전보다 훨씬 적은 훈련 샘플로 건물의 지진 반응 예측에서 높은 정확도를 달성할 수 있는가?
• RQ4 시간 동질성과 복합 구조의 가중치 설계를 통합함으로써 모델의 새로운 지진 입력에 대한 일반화 능력은 어느 정도 향상되는가?

주요 결과

• 표준 DeepONet 버전보다 훨씬 낮은 상대적 L2 오차를 기록하며, 단 10개의 샘플로 훈련된 Causality-DeepONet는 뛰어난 데이터 효율성을 입증했다.
• 복합 구조가 없는 버전은 100개의 훈련 샘플로도 만족스러운 정확도를 달성하지 못했으며, 이는 효과적인 학습을 위해 복합 구조의 필요성을 강조한다.
• 복합 구조와 인과성 제약 조건을 모두 갖춘 Causality-DeepONet는 지진 자극 하에서 건물의 옥상 이송 반응을 잘 예측하는 데 성공했다.
• 다양한 활성화 함수와 네트워크 크기에서도 높은 성능를 유지하여, 아키텍처 하이퍼파rameter에 대해 강건함을 보였다.
• 인과성과 복합 구조의 가중치 설계 통합으로 지연된 그린 함수를 정확하게 학습할 수 있었으며, 이는 과거와 현재의 지진 입력에 대한 구조물의 물리적 반응을 모델링한다.
• 시험 케이스에서 표준 DeepONet와 다중 척도 DeepONet를 모두 능가하는 성능을 보이며, 인과성과 진동 특성을 가지는 동적 시스템에 효과적임을 확인했다.

Figure 2: Schematic Diagram of the DeepONet: A schematic diagram of DeepONet showing branch and the trunk net along with the input data and output. The number of the input neurons of the branch net is equal to the number of sensor points in the input signals. The trunk net takes the input point $x$