[논문 리뷰] Incorporating Symmetry into Deep Dynamics Models for Improved Generalization

Rui Wang, Robin Walters외 1명|arXiv (Cornell University)|2020. 02. 08.

Model Reduction and Neural Networks참고 문헌 51인용 수 82

한 줄 요약

본 논문은 물리적 대칭성(이동/평행, 회전, 등속 운동, 스케일링)을 딥 다이나믹스 모델에 적용해 일반화와 물리적 일관성을 향상시키는 등변 신경망을 제시한다. 이로써 난류 흐름과 해양 데이터를 예측하는 데 유익하다.

ABSTRACT

Recent work has shown deep learning can accelerate the prediction of physical dynamics relative to numerical solvers. However, limited physical accuracy and an inability to generalize under distributional shift limit its applicability to the real world. We propose to improve accuracy and generalization by incorporating symmetries into convolutional neural networks. Specifically, we employ a variety of methods each tailored to enforce a different symmetry. Our models are both theoretically and experimentally robust to distributional shift by symmetry group transformations and enjoy favorable sample complexity. We demonstrate the advantage of our approach on a variety of physical dynamics including Rayleigh Bénard convection and real-world ocean currents and temperatures. Compared with image or text applications, our work is a significant step towards applying equivariant neural networks to high-dimensional systems with complex dynamics. We open-source our simulation, data, and code at \url{https://github.com/Rose-STL-Lab/Equivariant-Net}.

연구 동기 및 목표

• 물리 시스템의 깊은 다이나믹스 예측에서 더 나은 일반화가 필요하다는 동기를 제시한다.
• 주요 물리 대칭성에 등변적인 신경 아키텍처를 개발한다.
• 난류 및 해양 데이터셋에서 일반화 및 물리적 일관성의 개선을 입증한다.

제안 방법

• 대칭 그룹 G에 대해 f(gx)=g f(x)가 되도록 f를 G-등변으로 형식화한다.
• 그룹 표현을 사용하여 ResNet과 U-Net에서 등변 합성곱을 구축한다(이동/회전( E(2)-CNN) , 등속 운동은 입력 중심화/이동 트릭으로, 스케일은 스케일링 그룹에 대한 그룹 상관으로).
• 해상도에 의존하는 스케일 상관을 포함한 크기 변화(크기) 스케일링 및 해상도 독립적인 크기 스케일링 등 스케일 등변 방법을 구현한다.
• 등변성에 대한 이론적 보장을 제공하고 데이터 증강이 불필요한 경우를 논의한다.
• Rayleigh–Bénard 컨벡션 및 실제 해양 흐름/온도 데이터에 대해 RMSE와 Energy Spectrum Error (ESE)를 측정하여 평가한다.

실험 결과

연구 질문

• RQ1 고차원 물리 다이나믹스의 예측 정확도를 향상시키기 위해 CNN 아키텍처에 대칭성을 포함하는 것이 가능한가?
• RQ2 변환(이동, 회전, 등속 운동, 스케일)에 의해 유도된 분포 변화하에서 등변 모델이 비등변 baselines보다 일반화하는가?
• RQ3 물리 법칙이 공간, 시간, 크기를 결합할 때 스케일 관련 대칭성이 예측에 어떤 영향을 미치는가?
• RQ4 등변성이 난류 흐름과 해양에서의 에너지 스펙트럼 같은 물리적 일관성 지표에 미치는 영향은 무엇인가?

주요 결과

• 등변 모델은 비등변 Baseline에 비해 등변성 오차와 물리적 일관성이 개선된다.
• 시뮬레이션된 Rayleigh–Bénard 컨벡션에서 Equ-ResNet/Unet 모델은 변환된 테스트 세트에서 정확도를 유지하고 RMSE 및 ESE에서 데이터 증강 Baselines를 능가한다.
• 스케일 관련 대칭성과 회전 기반 등변은 분포 변화 하에서 일반화에 유의한 향상을 가져오며 RMSE 및 ESE가 감소한다.
• 데이터 증강 없이 학습된 등변 모델이 해양 현재 데이터셋에서 RMSE 및 ESE 모두에서 증강 Baselines를 능가하거나 일치한다.