[논문 리뷰] FINDE: Neural Differential Equations for Finding and Preserving Invariant Quantities

Takashi Matsubara, Takaharu Yaguchi|arXiv (Cornell University)|2022. 10. 01.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

FINDE는 관측 데이터로부터 알려지지 않은 1차 적분형(불변량)을 발견하고 유지하는 신경미분방정식 프레임워크를 소개한다. 투영 및 이산 그래디언트 방법을 사용하여 이산 시간에서 정확하게 1차 적분형을 보존함으로써 장기 예측과 과학적 발견을 가능하게 하며, 기존 방법들보다 안정성과 일반화 능력에서 뛰어나다.

ABSTRACT

Many real-world dynamical systems are associated with first integrals (a.k.a. invariant quantities), which are quantities that remain unchanged over time. The discovery and understanding of first integrals are fundamental and important topics both in the natural sciences and in industrial applications. First integrals arise from the conservation laws of system energy, momentum, and mass, and from constraints on states; these are typically related to specific geometric structures of the governing equations. Existing neural networks designed to ensure such first integrals have shown excellent accuracy in modeling from data. However, these models incorporate the underlying structures, and in most situations where neural networks learn unknown systems, these structures are also unknown. This limitation needs to be overcome for scientific discovery and modeling of unknown systems. To this end, we propose first integral-preserving neural differential equation (FINDE). By leveraging the projection method and the discrete gradient method, FINDE finds and preserves first integrals from data, even in the absence of prior knowledge about underlying structures. Experimental results demonstrate that FINDE can predict future states of target systems much longer and find various quantities consistent with well-known first integrals in a unified manner.

연구 동기 및 목표

• 기존 신경망이 동역학 시스템의 정확한 모델링을 위해 1차 적분형에 대한 사전 지식이 필요하다는 한계를 해결하기 위해.
• 기본 기하학적 구조가 알려지지 않은 상태에서도 데이터로부터 알려지지 않은 1차 적분형을 발견할 수 있는 통합 프레임워크를 개발하기 위해.
• 이산 시간 시뮬레이션에서 1차 적분형을 정확하게 보존함으로써 예측 정확도와 안정성을 향상시키기 위해.
• 기존 물리 기반 모델과 통합하여 알려진 1차 적분형을 중복 없이 통합할 수 있도록 하기 위해.
• 복잡한 시스템에서 알려진 것과 새로운 불변량을 식별함으로써 과학적 발견을 가능하게 하기 위해.

제안 방법

• FINDE는 1차 적분형이 유지되는 부분다양체에 동역학을 제약하는 투영 방법을 사용한 연속시간 버전을 활용한다.
• 이산 시간 버전은 이산 그래디언트 방법을 활용하여 1차 적분형을 수치 정밀도 이내로 정확하게 보존한다.
• 학습 목표를 제약 최적화 문제로 설정하여 이산 시간에서 1차 적분형의 그래디언트가 0이 되도록 강제한다.
• 관측된 궤적을 기반으로 엔드 투 엔드로 훈련되며, 잠재 공간의 파arameterization을 통해 1차 적분형의 수와 형태를 자동으로 식별한다.
• 기호적 지식 없이도 시스템의 불변 구조를 존중하는 방식으로 벡터 필드를 수정함으로써 신경미분방정식과 통합된다.
• 기존 아키텍처(예: HNNs)와 호환되며, 알려진 1차 적분형을 제약 조건으로 포함시킬 수 있도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 신경망은 순수 관측 데이터로부터 동역학 시스템의 알려지지 않은 1차 적분형을 발견할 수 있는가?
• RQ2 시스템의 기하학적 구조에 대한 사전 지식 없이도 이산 시간 시뮬레이션에서 1차 적분형을 정확히 유지할 수 있는가?
• RQ3 제안된 방법은 장기 예측 정확도에서 기존 물리 기반 신경망을 초월할 수 있는가?
• RQ4 에너지나 운동량처럼 다양한 초기 조건에 따라 변화하는 1차 적분형은 어떻게 다루는가?
• RQ5 기존의 불변량 보존 모델과 통합하여 일반화 능력을 향상시키고 중복 학습을 방지할 수 있는가?

주요 결과

• 2-pend 데이터셋에서 K=3일 때, FINDE는 표준 NODE보다 유의미하게 뛰어난 장기 예측 성능을 보였으며, 1단계 오차는 0.63 ± 0.02, VPT는 0.994 ± 0.002를 기록했다.
• 이산 시간 버전(dFINDE)은 반올림 오차 수준 이내로 1차 적분형을 정확히 보존했으며, 표준 NODE와 수정된 NPM은 관측값을 유지하지 못했다.
• 2-pend 데이터셋에서 dFINDE는 5회의 시험 전부에서 100% 성공률를 기록했고, 수정된 NPM은 최적화 발산 또는 언더플로우로 50% 실패를 기록했다.
• K=6일 때, cFINDE를 적용한 NODE는 훈련 세트에서 치명적인 실패를 겪었으며(1단계 오차: 9.93 ± 0.00), 잘못된 부분다양체 차원 수치가 성능을 심각하게 악화시킴을 보여주었다.
• 에너지 소산 시스템에서도 에너지 외의 1차 적분형을 성공적으로 발견함으로써 과학적 발견 능력을 입증했다.
• 시간에 따라 변하는 1차 적분형을 처리하도록 조정된 NPM과 비교해도 dFINDE는 정확도와 강건성 면에서 뛰어나, 낮은 오차와 높은 성공률을 기록했다.