[논문 리뷰] Automatic discrete differentiation and its applications.

Ai Ishikawa, Takaharu Yaguchi|arXiv (Cornell University)|2019. 05. 21.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 이산 시간에서 에너지 보존 및 질량 보존 법칙을 자연스럽게 만족시키는, 미분기하학적 구조를 가진 딥 에너지 기반 물리 모델을 제안한다. 자동 이산 미분 알고리즘을 도입함으로써, 신경망이 이산 기울기 방법을 사용하여 물리 법칙을 학습하고 유지할 수 있게 되어, 이산 계산 환경에서도 물리 시스템의 정확한 시뮬레이션을 보장한다.

ABSTRACT

Physical phenomena in the real world are often described by energy-based modeling theories, such as Hamiltonian mechanics or the Landau theory, which yield various physical laws. Recent developments in neural networks have enabled the mimicking of the energy conservation law by learning the underlying continuous-time differential equations. However, this may not be possible in discrete time, which is often the case in practical learning and computation. Moreover, other physical laws have been overlooked in the previous neural network models. In this study, we propose a deep energy-based physical model that admits a specific differential geometric structure. From this structure, the conservation or dissipation law of energy and the mass conservation law follow naturally. To ensure the energetic behavior in discrete time, we also propose an automatic discrete differential algorithm that enables neural networks to employ the discrete gradient method.

연구 동기 및 목표

• 기존 신경망이 이산 시간에서 작동할 때 물리 법칙—특히 에너지 및 질량 보존 법칙—을 유지하는 데에 한계가 있음을 해결하기 위해.
• 내재된 미분기하학적 구조를 가진 딥 에너지 기반 물리 모델을 개발하여 보존 법칙이 자연스럽게 유도되도록 하기 위해.
• 신경망이 이산 기울기 방법을 적용하여 정확한 물리 시뮬레이션을 수행할 수 있도록 자동 이산 미분 알고리즘을 설계하기 위해.
• 기존 프레임워크에서 간과되었던 물리 법칙 이외의 법칙들까지 신경망 기반 물리 모델링에 통합하기 위해.

제안 방법

• 모델는 에너지 및 질량 보존과 같은 물리 보존 법칙을 내재적으로 코딩하는 미분기하학적 구조를 사용하여 구성된다.
• 이산 시간에서 도함수를 계산하기 위해 자동 이산 미분 알고리즘을 제안하여 시스템의 기하학적 성질을 유지한다.
• 학습된 동역학이 에너지의 보존 또는 소산을 존중하도록 이산 기울기 방법을 적용한다.
• 연속시간 미분방정식과 신경망을 통합하여 이산 시간 계산에 적합하게 조정하면서도 물리적 일관성을 유지한다.
• 이 방법은 데이터에서 기초 물리 법칙을 학습할 수 있는 엔드 투 엔드 신경망 학습을 가능하게 하며, 이산 계산 환경에서도 작동한다.

실험 결과

연구 질문

• RQ1 신경망은 어떻게 이산 시간 계산에서 에너지 및 질량 보존 법칙을 유지할 수 있는가?
• RQ2 어떤 미분기하학적 구조가 딥 러닝 모델에서 물리 보존 법칙의 자연스러운 유도를 가능하게 하는가?
• RQ3 신경망 학습에서 이산 기울기 방법을 지원하기 위해 자동 이산 미분 알고리즘을 개발할 수 있는가?
• RQ4 에너지 보존 이외의 물리 법칙은 어떻게 신경망 기반 물리 모델링에 통합할 수 있는가?

주요 결과

• 제안된 모델는 내재된 미분기하학적 구조 덕분에 에너지 보존 및 질량 보존 법칙을 자연스럽게 강제한다.
• 자동 이산 미분 알고리즘이 성공적으로 이산 기울기 방법을 지원하여 이산 시간 시뮬레이션에서 물리적 일관성을 확보한다.
• 프레임워크는 에너지 보존을 넘어서 이전에 간과되었던 다른 물리 법칙까지 통합할 수 있다.
• 이 방법은 이산 시간에서 작동할 때조차도 신경망이 물리 법칙을 학습하고 유지할 수 있도록 하여, 이전 접근 방식의 핵심 한계를 극복한다.