[논문 리뷰] Mastering high-dimensional dynamics with Hamiltonian neural networks

Scott T. Miller, John F. Lindner외 3명|arXiv (Cornell University)|2020. 07. 28.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 하미르토니안 역학의 심플렉틱 구조를 활용하여 기존 신경망보다 더 정확하고 효율적으로 고차원 동역학 시스템을 학습하고 예측하는 하미르토니안 신경망(HNNs)을 제안한다. 단일 에너지 표면에서 학습함으로써 여러 도함수를 학습하는 것보다 학습 부담을 줄여 차원 수가 증가할수록 더 적은 학습 샘플로도 뛰어난 성능을 달성한다.

ABSTRACT

We detail how incorporating physics into neural network design can significantly improve the learning and forecasting of dynamical systems, even nonlinear systems of many dimensions. A map building perspective elucidates the superiority of Hamiltonian neural networks over conventional neural networks. The results clarify the critical relation between data, dimension, and neural network learning performance.

연구 동기 및 목표

• 고차원 동역학 시스템에서 기존 신경망이 일반화 및 확장성에 약한 점을 해결하기 위해.
• 특히 하미르토니안 역학과 같은 물리 원리를 통합할 경우 복잡한 시스템에서 학습 효율성과 예측 정확도가 어떻게 향상되는지 조사하기 위해.
• 시스템 차원과 데이터 제약 조건이 증가함에 따라 하미르토니안 신경망(HNNs)과 기존 신경망(NNs)의 성능을 비교하기 위해.
• 학습 동역학의 근본적인 차이를 명확히 하기 위해: HNNs는 단일 에너지 함수를 학습하는 반면, NNs는 여러 도함수 성분을 학습하므로 HNNs가 고차원에서 더 견고함을 밝혀내기 위해.

제안 방법

• HNNs는 위치와 운동량에서 시스템의 하미르토니안(총 에너지)을 예측하도록 훈련되며, 에너지를 출력하는 단일 출력을 가진 전방향 신경망을 사용한다.
• 다이내믹스는 하미르토니안 방정식을 통해 생성된다: $\dot{q} = \partial H / \partial p$, $\dot{p} = -\partial H / \partial q$, 이는 심플렉틱 구조와 에너지 보존을 보장한다.
• 손실 함수는 예측된 속도 및 운동량 도함수와 진짜 값 간의 차이를 최소화하며, 네트워크 출력의 자동 미분을 통해 계산된다.
• 훈련은 지도 구축 관점에서 수행된다: HNNs는 단일 에너지 표면(예: 포물면)을 학습하는 반면, 기존 NNs는 속도와 가속도를 위한 별도의 평면을 학습한다.
• 네트워크 아키텍처는 각 층에 $2^5$개의 뉴런을 가지며, $\tanh$ 활성화 함수를 사용하고, Adam 옵timizer를 사용하며 학습률은 $10^{-3}$이다.
• 실험은 선형 및 비선형 진동자, 특히 결합된 이중함정 체인을 포함하여 수행되었으며, 훈련 데이터는 여러 궤도와 에너지 범위에서 샘플링되었다.

실험 결과

연구 질문

• RQ1 HNNs의 성능은 고차원 동역학 시스템을 예측할 때 기존 신경망과 어떻게 비교되는가?
• RQ2 시스템 차원 수가 증가할수록 HNNs와 표준 신경망의 일반화 능력과 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 지도 구축 관점—단일 에너지 표면을 학습하는 것과 여러 도함수 평면을 학습하는 것—은 HNNs의 뛰어난 성능을 어떻게 설명하는가?
• RQ4 훈련 데이터 크기와 관련하여 HNNs의 스케일링 행동은 어떠한가? 고차원에서 기존 네트워크와 비교해보면 어떻게 되는가?
• RQ5 HNNs의 에너지 보존 성질은 혼돈 및 초혼돈 시스템에서 장기 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• HNNs는 제한된 훈련 데이터로도 고차원 동역학 시스템을 예측할 때 기존 신경망보다 상대 오차가 크게 낮게 유지된다.
• HNNs의 상대 오차는 훈련 쌍의 수에 따라 거듭제곱 법칙으로 감소함을 보이며, 특히 고차원에서 뛰어난 데이터 효율성을 나타낸다.
• 선형 진동자에 대해 HNNs는 단일 포물면 형태의 에너지 표면을 학습한다(Fig. 2), 반면 기존 NNs는 속도와 가속도를 위한 별도의 두 평면을 학습하여 복잡도가 증가한다.
• 고차원에서 HNNs의 이점은 증가하는 데, 도함수의 수는 차원에 따라 증가하지만 HNNs는 하미르토니안 하나의 함수만 학습하기 때문이다.
• HNNs는 추론 과정에서 에너지 보존과 심플렉틱 구조를 유지하여 기존 네트워크보다 더 안정적이고 정확한 장기 예측을 가능하게 한다.
• 이 연구는 HNNs가 복잡한 동역학을 보이는 비선형 시스템인 결합된 이중함정 체인의 예측에서 기존 네트워크를 능가함을 보여주며, 실제 다성분 시스템으로의 확장성도 확인한다.