[논문 리뷰] SVD Perspectives for Augmenting DeepONet Flexibility and Interpretability

Simone Venturi, Tiernan Casey|arXiv (Cornell University)|2022. 04. 27.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 특이값 분해(SVD) 및 직교분해(POD) 기법을 통합함으로써 DeepONet의 유연성과 해석 가능성성을 향상시키는 SVD-DeepONet와 flexDeepONet를 제안한다. 고정된 기준 프레임이 아닌 움직이는 기준 프레임을 생성하는 사전 변환 네트워크를 사용함으로써, 유연한 DeepONet는 강체 운동(예: 회전, 이동)을 분리함으로써 학습 가능한 파rameter를 최대 98.8% 감소시키고 일반화 성능을 향상시켜 대칭성이 있는 문제에서 기존 DeepONet보다 훨씬 적은 파rameter로 높은 정확도를 달성한다.

ABSTRACT

Deep operator networks (DeepONets) are powerful architectures for fast and accurate emulation of complex dynamics. As their remarkable generalization capabilities are primarily enabled by their projection-based attribute, we investigate connections with low-rank techniques derived from the singular value decomposition (SVD). We demonstrate that some of the concepts behind proper orthogonal decomposition (POD)-neural networks can improve DeepONet's design and training phases. These ideas lead us to a methodology extension that we name SVD-DeepONet. Moreover, through multiple SVD analyses, we find that DeepONet inherits from its projection-based attribute strong inefficiencies in representing dynamics characterized by symmetries. Inspired by the work on shifted-POD, we develop flexDeepONet, an architecture enhancement that relies on a pre-transformation network for generating a moving reference frame and isolating the rigid components of the dynamics. In this way, the physics can be represented on a latent space free from rotations, translations, and stretches, and an accurate projection can be performed to a low-dimensional basis. In addition to flexibility and interpretability, the proposed perspectives increase DeepONet's generalization capabilities and computational efficiencies. For instance, we show flexDeepONet can accurately surrogate the dynamics of 19 variables in a combustion chemistry application by relying on 95% less trainable parameters than the ones of the vanilla architecture. We argue that DeepONet and SVD-based methods can reciprocally benefit from each other. In particular, the flexibility of the former in leveraging multiple data sources and multifidelity knowledge in the form of both unstructured data and physics-informed constraints has the potential to greatly extend the applicability of methodologies such as POD and PCA.

연구 동기 및 목표

• POD와 PCA와 같은 SVD 기반 방법과의 연계를 통해 DeepONet의 해석 가능성과 일반화 성능을 향상시키기.
• 역학적 시스템에서 대칭성(예: 회전, 이동, 확장)을 갖는 운동을 표현하는 데 있어 DeepONet의 비효율성을 해결하기.
• 강체 운동을 분리하기 위해 움직이는 기준 프레임을 학습하는 사전 변환 네트워크를 개발하기.
• 강체 운동이 제거된 잠재 공간에 물리적 현상을 정확하게 저차원으로 투영할 수 있도록 하기.
• DeepONet가 고정된 격자나 알려진 데이터 구조를 초월해 비정규격자 및 비균일 시간 간격 데이터에 대해 SVD 기반 방법(예: POD)을 확장할 수 있음을 보여주기.

제안 방법

• POD 모드를 트렁크 넷으로 사용하고 계수를 브랜치 넷이 학습함으로써 SVD-DeepONet를 통해 SVD와 POD를 DeepONet에 통합하기.
• 시간 및 시나리오 통합 스냅샷 행렬에 SVD를 적용하여 DeepONet가 대칭성 있는 운동을 표현하는 데에서 효율성이 떨어지는 원인를 규명하기.
• 강체 운동을 변형에서 분리하기 위해 움직이는 기준 프레임을 학습하는 사전 변환 네트워크를 갖춘 flexDeepONet 설계하기.
• 회전, 이동, 확장이 포함된 운동에 대해 학습하여 대칭성이 없는 잠재 공간에서 물리적 현상을 고립시키기.
• 움직이는 기준 프레임을 활용해 정확한 저차원 기저에 대한 투영을 가능하게 하여 효율성과 일반화 성능 향상시키기.
• ODE와 2D 강체 운동 문제에서의 성능을 검증하여 기존 DeepONet와의 파rameter 수와 정확도를 비교하기.

실험 결과

연구 질문

• RQ1 SVD와 POD 기법을 통해 DeepONet가 복잡한 동역학 시스템을 표현할 때 해석 가능성과 일반화 성능을 어떻게 향상시킬 수 있는가?
• RQ2 왜 DeepONet는 회전, 이동과 같은 대칭성을 갖는 운동을 표현하는 데에서 성능이 떨어지는가?
• RQ3 움직이는 기준 프레임을 학습하는 사전 변환 네트워크가 DeepONet의 대칭성 있는 운동 모델링 능력을 향상시킬 수 있는가?
• RQ4 DeepONet를 활용해 SVD 기반 방법(예: POD)을 고정 격자나 시간에 따라 균일하지 않은 데이터에 어떻게 확장할 수 있는가?
• RQ5 flexDeepONet 아키텍처는 대칭 시스템에 대해 기존 DeepONet와 비교해 파rameter 효율성과 예측 정확도 측면에서 어떻게 다른가?

주요 결과

• 2D 강체 운동 문제에서 flexDeepONet는 기존 DeepONet 대비 학습 가능한 파rameter를 98.8% 감소시켰으며, 파rameter 수는 단 1,921개에 그쳤다.
• 공간 학습 윈도우 외부에서도 동역학을 재구성하는 데 높은 정확도를 달성하여 일반화 성능 향상을 입증했다.
• combustion 화학 응용 사례에서 flexDeepONet는 기존 DeepONet 대비 파rameter 수를 95% 감소시켰지만, 19개의 열역학적 변수에 대해 높은 정확도를 유지했다.
• SVD 분석을 통해 DeepONet의 기반 투영 설계가 대칭성 있는 운동을 표현하는 데 비효율적임을 밝혀내었고, 이는 flexDeepONet 개발의 동기를 제공했다.
• 사전 변환 네트워크에 의해 생성된 움직이는 기준 프레임 덕분에 강체 운동 성분이 제거된 정확한 저차원 물리적 표현이 가능했다.
• 사후 분석을 통해 움직이는 기준 프레임의 좌표를 고립하고 분석할 수 있어 해석 가능성성이 향상되었다.