[논문 리뷰] Simple and efficient algorithms for training machine learning potentials to force data

Justin S. Smith, Nicholas Lubbers외 2명|arXiv (Cornell University)|2020. 06. 09.

Machine Learning in Materials Science인용 수 7

한 줄 요약

이 논문은 밀도함수이론에서 유도된 에너지 및 힘 데이터를 사용하여 기계학습 잠재에너지의 훈련을 위한 단순하고 효율적인 알고리즘을 제시한다. 이 알고리즘은 근사 선형 계산 비용 스케일링을 달성한다. 손실 기울기 계산을 반복적 역전파 대신 방향 도함수를 사용함으로써, 메모리 사용량을 50% 감소시키고, 시스템 크기나 모델 복잡성에 관계없이 에너지만 훈련하는 데 비해 힘 훈련 비용이 3배 뿐만 아니라 수행 가능하다.

ABSTRACT

Abstract Machine learning models, trained on data from ab initio quantum simulations, are yielding molecular dynamics potentials with unprecedented accuracy. One limiting factor is the quantity of available training data, which can be expensive to obtain. A quantum simulation often provides all atomic forces, in addition to the total energy of the system. These forces provide much more information than the energy alone. It may appear that training a model to this large quantity of force data would introduce significant computational costs. Actually, training to all available force data should only be a few times more expensive than training to energies alone. Here, we present a new algorithm for efficient force training, and benchmark its accuracy by training to forces from real-world datasets for organic chemistry and bulk aluminum.

연구 동기 및 목표

• 밀도함수이론 시뮬레이션에서 유도된 큰 힘 데이터셋을 사용한 기계학습 잠재에너지 훈련과 관련된 기존의 높은 계산 비용 문제를 해결하기 위해.
• 기계학습 프레임워크에 의존하지 않고도 효율적인 힘 훈련을 가능하게 하는 방법을 개발하기 위해.
• 역전파 단계를 반복적으로 수행하지 않음으로써 기울기 계산 중 메모리 오버헤드를 줄이기 위해.
• 시스템 크기나 모델 파라미터에 관계없이 힘 훈련이 에너지만 훈련 비용의 몇 배 내외로 수행될 수 있음을 입증하기 위해.
• 에너지만을 위한 훈련을 위해 설계된 기존의 모든 기계학습 잠재에너지 코드에 적용 가능한 일반 목적의 알고리즘을 제공하기 위해.

제안 방법

• 이 방법은 두 번째 역전파 단계가 필요 없도록 에너지 기울기의 방향 도함수를 사용하여 손실 기울기를 계산한다.
• 반복적 역전파를 단일 역전파와 유한 차분 근사치를 사용한 방향 도함수의 근사치로 대체한다.
• 유한 차분에 사용되는 단일 차원이 없는 매개변수 ε를 사용하며, Eq. (10)을 통해 힘 단위를 적절히 스케일링하여 훈련된 모델과 훈련되지 않은 모델 간 일관성을 확보한다.
• 이 방법은 프레임워크에 종속되지 않으며, AENet, N2P2, ANI 또는 PINN와 같이 에너지만을 위한 훈련을 위해 설계된 기존의 모든 신경망 코드에 적용 가능하다.
• 적절한 ε를 적응적으로 선택함으로써 중심 차분 방법을 사용하여 기울기 근사치의 수치적 안정성과 낮은 오차를 확보한다.
• 기본 코드베이스에 이중 수치가 존재할 경우 전액수치 정밀도를 지원할 수 있으나, 실무에서는 유한 차분으로도 충분하다.

실험 결과

연구 질문

• RQ1 에너지만 훈련하는 것에 비해 몇 배 뿐만 아니라 힘 데이터를 기계학습 잠재에너지 훈련에 통합할 수 있는가?
• RQ2 기계학습 프레임워크를 사용하지 않고도 전체 손실 기울기를 효율적으로 계산할 수 있는가?
• RQ3 힘 훈련 중 두 번째 역전파 단계를 피함으로써 메모리 사용량을 줄일 수 있는가?
• RQ4 방향 도함수의 유한 차분 근사치가 최소한의 수치 오차로 정확한 기울기를 제공하는가?
• RQ5 적절한 단위 스케일링을 통해 동일한 유한 차분 매개변수 ε를 훈련된 모델과 훈련되지 않은 모델 모두에 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 알고리즘은 시스템 크기나 모델 복잡성에 관계없이, 모든 힘을 예측하는 데 비해 약 3배의 비용으로 힘 훈련을 위한 손실 기울기를 계산한다.
• 두 번째 역전파 단계를 제거함으로써 반복적 역전파 대비 50% 메모리 사용량을 감소시킨다.
• 유한 차분 근사치는 특히 Eq. (10)을 통한 적절한 단위 스케일링을 적용할 경우 실무에서 수치 오차가 거의 없이 정확한 기울기를 제공한다.
• 힘 단위가 올바르게 스케일링되면 최적의 유한 차분 매개변수 ε는 훈련된 모델과 훈련되지 않은 모델 모두에서 일관되게 유지되며, 훈련 중 안정성을 확보한다.
• 에너지만을 위한 훈련을 위해 설계된 기존의 모든 신경망 코드와 호환되어, 프레임워크 제약 없이 원활한 통합이 가능하다.
• 힘 데이터를 완전히 활용함으로써 고정밀도 기계학습 잠재에너지가 가능해지며, 이는 에너지만으로는 제공할 수 없는 훨씬 더 많은 정보를 포함하고 있다.