[논문 리뷰] Benchmarking Energy-Conserving Neural Networks for Learning Dynamics from Data

Yaofeng Desmond Zhong, Biswadip Dey외 1명|arXiv (Cornell University)|2020. 12. 03.

Machine Learning in Materials Science인용 수 7

한 줄 요약

이 논문은 시간 시리즈 데이터로부터 물리적 역학을 학습하기 위한 열개의 에너지 보존 신경망 모델을 벤치마킹하며, 명시적 또는 암묵적 제약 조건을 가진 해밀토니안 및 라그랑주 신경망에 초점을 맞춘다. CLNN 및 CHNN는 명시적 제약 조건 강제와 안정적인 질량 행렬 매개변수화 덕분에 예측 정확도와 데이터 효율성에서 다른 모델들을 앞서며, 특히 다중 펜듈럼 및 자이로스코프 시스템에서 뛰어난 성능을 보인다.

ABSTRACT

The last few years have witnessed an increased interest in incorporating physics-informed inductive bias in deep learning frameworks. In particular, a growing volume of literature has been exploring ways to enforce energy conservation while using neural networks for learning dynamics from observed time-series data. In this work, we survey ten recently proposed energy-conserving neural network models, including HNN, LNN, DeLaN, SymODEN, CHNN, CLNN and their variants. We provide a compact derivation of the theory behind these models and explain their similarities and differences. Their performance are compared in 4 physical systems. We point out the possibility of leveraging some of these energy-conserving models to design energy-based controllers.

연구 동기 및 목표

• 시간적 궤적 데이터로부터 물리적 역학을 학습하는 데 있어 최근 10종의 에너지 보존 신경망 모델의 성능을 평가하고 비교하는 것.
• 명시적 대비 암묵적 제약 조건 강제 방식이 모델 정확도, 안정성 및 데이터 효율성에 미치는 영향을 조사하는 것.
• 각도 인식 설계 및 구조적 라그랑주/해밀토니안 공식화가 학습 성능에 미치는 영향을 평가하는 것.
• 이러한 모델이 물리적 시스템에서 에너지 기반 제어기 설계 잠재력을 갖추고 있는지 탐색하는 것.

제안 방법

• 해밀토니안 또는 라그랑주 역학에 기반한 10종의 신경망 모델(HNN, LNN, DeLaN, SymODEN, CHNN, CLNN 및 그 변종)의 이론적 기초를 조사하고 유도한 바.
• 시간 시리즈 궤적 데이터를 사용하여 4개의 물리적 시스템(1-펜듈럼, 2-펜듈럼, 4-펜듈럼, 3D 자이로스코프)에서 모델을 구현하고 평가한 바.
• 라그랑주 또는 해밀토니안 함수의 수학적 형태를 반영하도록 신경망 계산 그래프를 구성하여 에너지 보존을 강제한 바.
• CLNN 및 CHNN에서는 시스템 고유의 운동학적 제약 조건을 직접 네트워크 아키텍처에 통합하여 명시적 제약 조건 강제를 구현한 바.
• 데이터 증강 및 다양한 훈련 세트 크기를 적용하여 데이터 효율성을 평가하였으며, 장기 예측 및 에너지 보존 성능을 평가한 바.
• 모델 안정성과 정확도를 정량화하기 위해 시간에 따른 진짜 에너지 이격도와 상대적 상태 예측 오차를 추적한 바.

실험 결과

연구 질문

• RQ1 다양한 에너지 보존 신경망 아키텍처는 물리적 시스템의 장기적 역학을 예측하는 데 어떻게 비교되는가?
• RQ2 명시적 대비 암묵적 제약 조건 강제 방식이 모델 성능과 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 각도 인식 설계는 다체계에서 학습 효율성과 정확도를 얼마나 향상시키는가?
• RQ4 구조적 라그랑주/해밀토니안 공식화는 2-펜듈럼 및 4-펜듈럼과 같은 혼돈 시스템에서 데이터 효율성과 일반화 능력을 어떻게 향상시키는가?
• RQ5 모델들은 시간이 지남에 따라 진짜 물리적 에너지를 얼마나 잘 유지하는가? 에너지 보존과 예측 정확도 사이에는 어떤 관계가 있는가?

주요 결과

• CLNN 및 CHNN는 모든 시스템에서 가장 뛰어난 장기 예측 성능을 보였으며, 특히 혼돈성이 높은 2-펜듈럼 및 4-펜듈럼 시스템에서 뛰어난 성능을 보였다.
• 명시적 제약 조건 강제를 적용한 모델들(CLNN, CHNN)은 암묵적 모델 대비 유의미하게 낮은 에너지 이격도를 보였으며, 이는 더 높은 예측 정확도와 관련이 있었다.
• 데이터 효율성은 CLNN 및 CHNN에서 가장 높았으며, 2-펜듈럼 시스템에서 10개의 훈련 궤적조차도 다른 모델들을 능가하는 성능을 보였다.
• 각도 인식 설계는 다중 펜듈럼과 같이 회전 자유도를 가진 시스템에서 학습 성능 향상에 기여하였다.
• 질량 행렬을 암묵적으로 유도하는 모델들(LNN, LNN-Angle)은 악조건의 매개변수화로 인해 훈련 안정성을 확보하기 위해 대각선 정규화가 필요하였다.
• 에너지 보존을 강제함에도 불구하고, 모든 모델에서 진짜 일정한 에너지에서의 이격 현상이 관찰되었으며, CLNN 및 CHNN가 가장 낮은 이격도를 보였다.