[논문 리뷰] Variational Autoencoders for Learning Nonlinear Dynamics of Physical Systems

Ryan Lopez, Paul J. Atzberger|arXiv (Cornell University)|2020. 12. 07.

Model Reduction and Neural Networks참고 문헌 61인용 수 14

한 줄 요약

이 논문은 비선형 물리계의 저차원 해석 가능한 표현을 학습하기 위해 기하학적 및 위상수학적 사전 지식을 갖춘 변분 오토에인드어(VAE) 프레임워크를 제안한다. 예를 들어 버거스 방정식과 고정 길이 구조를 가진 기계적 시스템과 같은 시스템에서, 잠재 공간을 토러스나 클라인 병과 같은 다양체 위에 매립시키는 것으로, 유클리드 잠재 공간에 비해 재구성 정확도, 일반화 능력, 노이즈에 대한 강건성 향상을 달성한다. 특히 노이즈가 있는 학습 데이터에서 뛰어난 성능을 보인다.

ABSTRACT

We develop data-driven methods for incorporating physical information for priors to learn parsimonious representations of nonlinear systems arising from parameterized PDEs and mechanics. Our approach is based on Variational Autoencoders (VAEs) for learning from observations nonlinear state space models. We develop ways to incorporate geometric and topological priors through general manifold latent space representations. We investigate the performance of our methods for learning low dimensional representations for the nonlinear Burgers equation and constrained mechanical systems.

연구 동기 및 목표

• 비선형 동역학계의 잠재 공간 표현에 물리적 사전 지식(부드러움, 주기성, 위상수학적 성질 등)을 통합하는 데이터 기반 방법을 개발하기.
• 물리계의 고차원 관측치로부터 안정적이고 일반화 가능하며 해석 가능한 저차원 모델을 학습하는 데 도전하는 것.
• 시스템의 내재적 대칭성과 제약 조건을 반영하는 다양체(예: 토러스, 클라인 병)에 잠재 공간을 매립시켜 장기 예측 성능과 강건성을 향상시키기.
• 기하학적 및 위상수학적 사전 지식을 갖춘 VAE가 표준 유클리드 잠재 공간에 비해 재구성 정확도와 노이즈에 대한 내성 강화를 어떻게 향상시키는지 입증하기.

제안 방법

• 시간 시리즈 관측치로부터 비선형 상태공간 모델을 학습하기 위해 확률적 인코더와 디코더를 사용하는 변분 오토에인드어(VAE) 프레임워크를 적용한다.
• 잠재 공간이 $S^1 \times S^1$ (토러스) 또는 클라인 병과 같은 다양체 위에 제약을 받도록, 인코딩된 벡터를 목표 다양체 위의 가장 가까운 점으로 투영하는 미분 가능한 사상 $\Lambda(\mathbf{w})$ 를 사용한다.
• 학습 목표는 재구성 손실($\mathcal{L}_{RE}$), KL 분산 정규화($\mathcal{L}_{KL}$), 다양체 정규화 항($\mathcal{L}_{RR}$)으로 구성된 기초 하한 추정(Evidence Lower Bound, ELBO)을 사용한다.
• 인코더 및 디코더 네트워크는 레이어 크기가 (in)-100-500-100-(out)인 딥 네ural 네트워크이며, ELBO를 기반으로 최대 우도 추정을 통해 학습된다.
• 다양체 제약 조건을 위해, 후방 전파를 가능하게 하기 위해 다양체(예: 토러스 또는 클라인 병)로의 수치적 투영을 통한 기울기 계산을 수행한다.
• 이 프레임워크는 파arameterized PDE(예: 버거스 방정식)와 고정 길이 구조를 가진 기계적 시스템(예: 2D 암에 고정 길이 세그먼트가 있는 시스템)에 적용되며, 잠재 공간 기하학이 물리적 제약 조건을 반영한다.

실험 결과

연구 질문

• RQ1 다양체 기반 잠재 공간을 가진 VAE는 표준 유클리드 잠재 공간에 비해 비선형 물리계의 역학을 더 강건하고 일반화 가능한 방식으로 표현할 수 있는가?
• RQ2 기하학적 및 위상수학적 사전 지식(예: 주기성, 대칭성)은 동역학계 학습에서 재구성 정확도와 노이즈에 대한 내성 강화를 어떻게 향상시키는가?
• RQ3 잘못된 잠재 공간 위상수학(예: 토러스 대신 $\mathbb{R}^2$ 사용)이 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 노이즈가 있는 학습 데이터에서 다양체에 매립된 VAE는 표준 VAE를 얼마나 뛰어나게 성능을 내는가?
• RQ5 잠재 공간에 물리적 제약 조건을 통합함으로써 기계적 시스템에서 학습된 특징의 해석 가능성과 분리 가능성은 어떻게 향상되는가?

주요 결과

• 고정 길이 구조를 가진 2D 암 메커니즘에 대해 토러스 잠재 공간을 사용할 경우, $\mathbb{R}^4$ 에 비해 재구성 정확도가 뚜렷이 향상되어 진짜 시스템 위상수학을 반영함으로써 유의미한 이점이 있음을 입증한다.
• 잘못된 위상수학(예: $\mathbb{R}^2$ 사용)을 적용한 경우 재구성 정확도가 심각하게 떨어졌으며, 이는 잘못된 다양체 가정이 학습을 방해함을 시사한다.
• 노이즈가 있는 학습 데이터($\tilde{X} = X + \sigma\eta$)에서 다양체에 매립된 VAE가 유클리드 VAE를 뛰어넘는 성능을 보였으며, 잠재 표현의 안정성을 높이는 필터 역할을 한다.
• 유클리드 잠재 공간의 차원 수가 2를 초과할수록 재구성 정확도가 감소하여, 여분의 차원이 과적합 위험을 증가시킨다는 점을 시사한다.
• 다양체 정규화 항($\mathcal{L}_{RR}$)은 노이즈 상황에서도 더 일관되고 물리적으로 일관된 잠재 공간을 학습하는 데 기여하였다.
• 다양체에 매립된 VAE는 장기 예측 작업에서 더 뛰어난 일반화 능력과 안정성을 보였으며, 이는 외삽 능력 향상의 가능성을 시사한다.