[논문 리뷰] Deep Density: circumventing the Kohn-Sham equations via symmetry preserving neural networks

Leonardo Zepeda-Núñez, Yixiao Chen외 4명|arXiv (Cornell University)|2019. 11. 27.

Machine Learning in Materials Science참고 문헌 41인용 수 13

한 줄 요약

이 논문은 원자 구조에서 전자 밀도를 직접 학습함으로써 코른-샤무 방정식을 우회하는 대칭을 유지하는 신경망인 Deep Density를 소개한다. 원자 클러스터에서 기인하는 국소적이고 대칭적인 기여로 밀도를 분해함으로써 선형 스케일링과 3D 시스템인 물(최대 512개 분자)과 알루미늄(최대 256개 원자)에서 ℓ² 오차가 2.5% 미만을 달성한다. 이는 절연체, 금속성, 혼합 성질의 시스템에 걸쳐 최소한의 학습 데이터로도 이동 가능하고 정확도가 높음을 보여준다.

ABSTRACT

The recently developed Deep Potential [Phys. Rev. Lett. 120, 143001, 2018] is a powerful method to represent general inter-atomic potentials using deep neural networks. The success of Deep Potential rests on the proper treatment of locality and symmetry properties of each component of the network. In this paper, we leverage its network structure to effectively represent the mapping from the atomic configuration to the electron density in Kohn-Sham density function theory (KS-DFT). By directly targeting at the self-consistent electron density, we demonstrate that the adapted network architecture, called the Deep Density, can effectively represent the electron density as the linear combination of contributions from many local clusters. The network is constructed to satisfy the translation, rotation, and permutation symmetries, and is designed to be transferable to different system sizes. We demonstrate that using a relatively small number of training snapshots, Deep Density achieves excellent performance for one-dimensional insulating and metallic systems, as well as systems with mixed insulating and metallic characters. We also demonstrate its performance for real three-dimensional systems, including small organic molecules, as well as extended systems such as water (up to $512$ molecules) and aluminum (up to $256$ atoms).

연구 동기 및 목표

• 코른-샤무 밀도-functional 이론에서 코른-샤무 방정식을 풀지 않고도 자성 전자 밀도를 직접 예측하는 기계학습 접근법을 개발하는 것.
• 기존 DFT의 입자수 제곱 스텝에 의존하는 문제를 해결하기 위해 대칭 불변 아키텍처를 활용한 딥 러닝을 통해 입자수 제곱 스케일링과 기저집합 의존성을 극복하는 것.
• 절연체, 금속성, 혼합 성질의 시스템을 포함한 다양한 시스템 크기와 물질 유형 간의 이동성을 확보하기 위해 소수의 학습 샘플을 사용하는 것.
• 국소성과 대칭성을 활용하여 평가 비용에 대해 선형 스케일링을 달성함으로써 대규모 시스템에서 효율적인 예측을 가능하게 하는 것.
• 실제 3D 시스템, 예를 들어 물 클러스터와 알루미늄에 대한 적용 가능성을 입증하며, 높은 정확도와 시스템 크기 변화에 대한 강건성을 확보하는 것.

제안 방법

• 이 방법은 각 원자와 그 이웃 원자로부터 기인하는 국소 기여의 선형 조합으로 전자 밀도를 구성하며, 각 기여는 대칭을 유지하는 딥 뉴럴 네트워크로 모델링된다.
• 각 국소 구성 요소는 이웃 원자의 이동, 회전, 순열에 대해 불변하므로 물리적 일관성과 이동 가능성을 보장한다.
• 네트워크는 원자 구조에서 전자 밀도로의 매핑을 지점별로 학습함으로써 기저집합 투영을 피하고 임의의 격자에서 직접 평가가 가능하게 한다.
• 아키텍처는 Deep Potential에서 유도되었으며, 국소 화학 환경을 효과적으로 인코딩하기 위해 동일한 대칭 불변 메시지 전달 설계를 재사용한다.
• 총 전자 밀도는 모든 원자로부터의 기여를 합산하여 계산되며, 각 기여는 독립적으로 평가되기 때문에 매우 쉬운 병렬 처리가 가능하다.
• 모델은 소수의 구성으로 DFT로 계산된 전자 밀도를 엔드 투 엔드로 학습하며, 밀도 필드에 대한 ℓ² 및 ℓ¹ 노름을 최소화하여 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 소수의 DFT 샘플에서 학습된 딥 뉴럴 네트워크가 다양한 1D 및 3D 시스템에서 자성 전자 밀도를 정확하게 예측할 수 있는가?
• RQ2 스크리닝 효과로 인해 금속성 시스템에서 전자 밀도 국소화 원리가 절연체에서 성공했던 것과 동일한 정도로 유지되는가?
• RQ3 대칭을 유지하는 딥 뉴럴 네트워크 아키텍처가 대규모 시스템에서 높은 정확도를 유지하면서 평가 비용에 대해 선형 스케일링을 달성할 수 있는가?
• RQ4 모델의 성능과 일반화 능력은 시스템 크기와 물질 유형(절연체 대비 금속성 대비 혼합)에 따라 어떻게 변화하는가?
• RQ5 코른-샤무 방정식의 해를 구하지 않아도 정확도를 유지할 수 있으며, 학습 데이터보다 더 큰 시스템으로의 이동성이 있는가?

주요 결과

• Deep Density는 최대 256개 원자를 포함한 3D 알루미늄 시스템과 최대 512개 분자를 포함한 물 시스템에서 상대적 ℓ² 오차가 2.5% 이하로 유지되어 강력한 이동성을 입증한다.
• 3×3×3 알루미늄 슈퍼셀의 단지 네 개의 학습 샘플로도 상대적 ℓ² 및 ℓ¹ 오차가 각각 0.5%와 1.2%로 감소하여 높은 샘플 효율성을 보여준다.
• 이 방법은 절연체, 금속성, 혼합 성질을 띤 1D 시스템에서 전자 밀도를 정확히 캡처하여 금속성 영역에서도 국소화 원리가 유효함을 검증한다.
• 물 시스템의 경우 최대 512개 분자까지 시스템 크기 변화에 관계없이 ℓ² 오차가 2.5% 이하로 유지되어 강건성과 확장 가능성을 보여준다.
• 금속성 시스템인 알루미늄에서는 전자 밀도 오차가 공간적으로 확산되는 경향을 보이며, 이는 비커어 전자보다는 가시 전자에 오차 기여가 더 크다는 것을 시사한다.
• 이 방법은 시스템 크기에 대해 선형 스케일링이 가능한 지점별 전자 밀도 평가를 가능하게 하며, GPU 기반의 매우 쉬운 병렬 처리를 통해 추가 가속화가 가능하다.