[논문 리뷰] Approximately Equivariant Networks for Imperfectly Symmetric Dynamics

Rui Wang, Robin Walters외 1명|arXiv (Cornell University)|2022. 01. 28.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 실제 동적 시스템에서 완벽한 대칭성이 성립하지 않는 경우를 고려해 신경망의 엄격한 대칭성 제약을 완화하는 약간의 등변성 네트워크를 제안한다. 군 및 기울기 조절 컨볼루션에서의 가중치 공유를 일반화함으로써, 시뮬레이션된smoke 및 실제 제트 기류 데이터에서 엄격한 등변성 모델과 비등변성 모델을 모두 능가하는 성능을 달성하며, 비완전한 대칭성 환경에서 더 나은 일반화 및 강건성을 입증한다.

ABSTRACT

Incorporating symmetry as an inductive bias into neural network architecture has led to improvements in generalization, data efficiency, and physical consistency in dynamics modeling. Methods such as CNNs or equivariant neural networks use weight tying to enforce symmetries such as shift invariance or rotational equivariance. However, despite the fact that physical laws obey many symmetries, real-world dynamical data rarely conforms to strict mathematical symmetry either due to noisy or incomplete data or to symmetry breaking features in the underlying dynamical system. We explore approximately equivariant networks which are biased towards preserving symmetry but are not strictly constrained to do so. By relaxing equivariance constraints, we find that our models can outperform both baselines with no symmetry bias and baselines with overly strict symmetry in both simulated turbulence domains and real-world multi-stream jet flow.

연구 동기 및 목표

• 기존의 등변성 네트워크가 완벽한 대칭성을 가정하는 데서 비롯하는 제약을 해결하기 위해.
• 엄격한 대칭성 제약과 무대칭성의 중간 지점으로서 약간의 등변성의 개념을 수학적으로 정의하기 위해.
• 대칭성 위반 요인(예: 노이즈 또는 경계 효과)이 존재하는 상황에서도 유용한 인덕티브 바이어스를 유지하면서 모델 표현력을 유지할 수 있는 유연한 프레임워크를 개발하기 위해.
• 특히 유체 흐름 예측에서 비완전한 대칭성 시스템에 대해 향상된 예측 성능을 입증하기 위해.
• SO(2), R>0, E(2)와 같은 다양한 대칭군에 적용 가능한 일반화 가능한 완화 메커니즘을 제공하기 위해.

제안 방법

• 엄격한 등변성과 대칭성 바이어스 없음 사이를 연결하는 약간의 등변성의 공식 정의를 도입하기 위해.
• 군 컨볼루션에서의 가중치 공유를 완화하기 위해 커널을 다수의 필터 베이스 조합으로 표현함으로써 부분적인 대칭성 강제를 가능하게 하기 위해.
• 기울기 조절 CNN에서 입력에 따라 변하는 커널 기저 학습을 도입하여 대칭 행동의 동적 적응을 가능하게 하기 위해.
• 회전(SO(2)), 척도(R>0), 유클리드(E(2)) 변환에 대해 다중 대칭군에 대해 완화된 가중치 공유를 적용하기 위해.
• 잔차 경로에 소프트 사전 확률를 사용하여 대칭성 바이어스와 모델의 유연성 간 균형을 이루기 위해.
• 데이터로부터 자동으로 적절한 수준의 대칭성 정도를 학습할 수 있는 학습 가능한 완화 메커니즘을 도입하기 위해.

실험 결과

연구 질문

• RQ1 엄격한 등변성 제약을 완화함으로써, 비완전한 대칭성을 가진 실제 동역학 시스템에서 일반화 및 예측 정확도를 향상시킬 수 있는가?
• RQ2 비완전한 대칭성 데이터에서 약간의 등변성은 엄격한 등변성 모델과 비등변성 모델에 비해 예측 성능에서 어떻게 비교되는가?
• RQ3 제안된 완화 메커니즘은 회전, 척도, 유클리드 변환과 같은 다양한 대칭군에 대해 일반화 가능한가?
• RQ4 대칭성 위반 요인에 대한 사전 지식 없이도 모델이 데이터로부터 적절한 수준의 대칭성을 자동으로 학습할 수 있는가?
• RQ5 다양한 대칭성에 대한 완화를 동시에 적용하면 성능 향상이 추가로 이루어지는가?

주요 결과

• 제안된 약간의 등변성 네트워크는 시뮬레이션된 연기 플룸 데이터에서 엄격한 등변성 모델과 비등변성 기준 모델을 모두 능가하며, 속도장 예측에서 더 낮은 평균 절대 오차(MAE)를 달성했다.
• 실제 실험적 제트 기류 데이터에서는 완화된 기울기 조절 CNN과 완화된 군 컨볼루션 모델이 가장 낮은 RMSE를 기록했으며, RSteerTR(통합 완화)가 단일 완화 및 완전히 등변성 있는 모델을 모두 능가했다.
• 제트 기류 실험에서 완화된 모델은 최고 성능 기준 모델 대비 최대 15%까지 RMSE를 감소시켜 실제 적용 가능성에서 뚜렷한 성과를 보였다.
• 합성 및 실제 유체역학 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 특히 경계 조건 및 누락된 데이터와 같은 대칭성 위반 요인 존재 시나리오에서 뛰어난 성능을 보였다.
• 해양 동역학에 대한 실험에서는 모든 모델이 최적화 후 유사한 성능를 보였으며, 이는 엄격하거나 약간의 회전 대칭성이 시스템에서 대칭성이 이미 약하거나 자연스럽게 근사되는 경우에 유리하지 않음을 시사한다.
• 제거 실험을 통해 이동, 회전, 척도 등의 다중 대칭성 제약을 동시에 완화하면 단일 제약 완화보다 더 나은 성능을 달성함을 확인했다.