[논문 리뷰] Discovering conservation laws from trajectories via machine learning

Seungwoong Ha, Hawoong Jeong|arXiv (Cornell University)|2021. 02. 08.

Model Reduction and Neural Networks참고 문헌 31인용 수 4

한 줄 요약

이 논문은 소음과 희박한 조건에서도 안정적으로 작동하는 새로운 노이즈 분산 손실 함수를 사용하여 그룹화된 궤적 데이터에서 보존량을 자동으로 탐지하는 딥러닝 모델인 ConservNet을 소개한다. 내부 그룹 간 분산을 최소화하면서도, 극단적인 상수 해를 피하기 위해 산산이 흩트리는 손실 함수를 도입함으로써 ConservNet은 시뮬레이션 시스템과 실제 더블 펜듈럼 데이터에서 보존량을 성공적으로 식별한다.

ABSTRACT

Invariants and conservation laws convey critical information about the underlying dynamics of a system, yet it is generally infeasible to find them from large-scale data without any prior knowledge or human insight. We propose ConservNet to achieve this goal, a neural network that spontaneously discovers a conserved quantity from grouped data where the members of each group share invariants, similar to a general experimental setting where trajectories from different trials are observed. As a neural network trained with a novel and intuitive loss function called noise-variance loss, ConservNet learns the hidden invariants in each group of multi-dimensional observables in a data-driven, end-to-end manner. Our model successfully discovers underlying invariants from the simulated systems having invariants as well as a real-world double pendulum trajectory. Since the model is robust to various noises and data conditions compared to baseline, our approach is directly applicable to experimental data for discovering hidden conservation laws and further, general relationships between variables.

연구 동기 및 목표

• 역운동 시스템의 궤적 데이터로부터 보존 법칙을 사전 지식 없이 자동으로 탐지하고 인간의 간섭 없이 수행하는 것.
• 기존 방법이 실패하는 소음, 희박한 데이터 및 그룹화된 실험 데이터에서 숨겨진 보존량을 식별하는 과제를 해결하는 것.
• 원시 궤적 데이터에서 직접 기호적 보존량을 추출하는 데이터 기반의 종단 간 프레임워크를 개발하는 것.
• 실제 실험에서 흔히 발생하는 소음, 부수적인 변수 및 다양한 데이터 조건에 대해 강건성을 확보하는 것.
• 다양한 스케일 차이가 있는 보존량을 포함한 다수의 보존량을 효율적이고 일반화 가능한 방식으로 탐지할 수 있도록 하는 것.

제안 방법

• 각 그룹이 공통된 보존량을 공유하는 그룹화된 궤적 데이터에서 끝에서 끝까지 훈련되는 신경망 아키텍처인 ConservNet을 제안한다.
• 모델 출력의 내부 그룹 간 분산을 최소화하여 보존량 학습을 촉진하는 새로운 손실 함수인 노이즈 분산 손실을 도입한다.
• 소음이 가해진 입력에 대한 출력 분산을 증가시키는 스프레딩 항을 손실 함수에 통합하여 극단적인 상수 해로의 수렴을 방지한다.
• 노이즈 벡터 $\bm{\varepsilon}_{ij}$ 를 사용하여 흐트러짐을 시뮬레이션하고 스프레딩 효과의 강도를 제어한다. 이 벡터는 유한한 $L_2$-노름 $R$ 을 가진다.
• 모델 출력의 목표 분산을 조절하기 위해 초수치 $Q$ 를 사용하여 비상수 보존량 탐지의 안정성을 확보한다.
• 평가를 위해 모델 출력을 진짜 보존량과 일치시키기 위해 선형 변환 $\hat{F}_{\theta} = aF_{\theta} + b$ 를 적용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 시스템의 역학에 대한 사전 지식 없이 그룹화된 궤적 데이터에서 보존량을 탐지할 수 있는가?
• RQ2 실제 실험 조건에서 소음, 데이터 희박성 및 다양한 그룹 크기의 영향을 받는 경우 제안된 방법의 강건성은 어떠한가?
• RQ3 모델은 보존량이 있는 시스템과 없는 시스템을 구분하고 보존량이 존재하지 않는 경우를 탐지할 수 있는가?
• RQ4 여러 보존량이 동시에 존재할 경우, 특히 스케일이 크게 다른 경우 모델의 성능은 어떠한가?
• RQ5 노이즈 분산 손실이 비상수 해로의 수렴을 효과적으로 방지하면서도 비상수 보존량 학습을 유지하는 데 얼마나 효과적인가?

주요 결과

• 다양한 데이터 조건에서 ConservNet은 피어슨 상관계수 $\rho > 0.9$ 를 달성한다. 이는 단 한 개의 긴 궤적 또는 100개의 짧은 시험 조건과 같은 극단적인 경우에도 해당된다.
• 모델은 $ (20,100) $ 데이터 조건에서 훈련된 경우 케플러 문제에서 각운동량을 성공적으로 탐지하였으며, $R^2 = 0.99$ 를 기록한다.
• 각운동량과 총 에너지 사이에 10배의 스케일 차이가 있어도 ConservNet은 두 번째 보존량과 강한 상관관계($\rho \approx 0.9$) 를 보였다.
• 모델은 다양한 초수치 $Q$ 와 $R$ 값, 그리고 다양한 노이즈 노름($L_1$, $L_2$, $L_\infty$) 설정에서도 강건하게 작동하며, 모든 테스트 설정에서 $\rho > 0.98$ 를 달성하였다.
• 진짜 보존량이 없는 상황에서는 ConservNet이 강한 오버피팅과 높은 내부 그룹 표준편차를 보이며, 보존량이 없는 시스템을 신뢰성 있게 탐지함을 나타낸다.
• 노이즈 분산 손실은 극단적인 상수 해를 효과적으로 방지하며, 흐트러짐이 가해진 상황에서도 비상수이자 의미 있는 출력을 유지할 수 있음을 확인하였다.