[논문 리뷰] On the equivalence of molecular graph convolution and molecular wave function with poor basis set

Masashi Tsubaki, Teruyasu Mizoguchi|arXiv (Cornell University)|2020. 11. 16.

Machine Learning in Materials Science인용 수 2

한 줄 요약

이 논문은 분자 그래프를 에너지 예측으로 매핑하는 데 기반한 양자역학적 기반의 기계학습 모델인 양자 심층장(QDF)을 제안한다. 이는 원자 궤도의 선형 조합(LCAO)과 밀접하게 연결된 단일 선형 레이어 GCN과 두 개의 피드포워드 신경망을 통해 양자역학적 기능을 학습한다. 소분자에서 학습하고 대규모 분자에서 테스트함으로써 높은 외삽 성능를 달성하며, 재료 발견 분야에서의 강력한 일반화 능력과 실용적 잠재력을 보여준다.

ABSTRACT

In this study, we demonstrate that the linear combination of atomic orbitals (LCAO), an approximation of quantum physics introduced by Pauling and Lennard-Jones in the 1920s, corresponds to graph convolutional networks (GCNs) for molecules. However, GCNs involve unnecessary nonlinearity and deep architecture. We also verify that molecular GCNs are based on a poor basis function set compared with the standard one used in theoretical calculations or quantum chemical simulations. From these observations, we describe the quantum deep field (QDF), a machine learning (ML) model based on an underlying quantum physics, in particular the density functional theory (DFT). We believe that the QDF model can be easily understood because it can be regarded as a single linear layer GCN. Moreover, it uses two vanilla feedforward neural networks to learn an energy functional and a Hohenberg--Kohn map that have nonlinearities inherent in quantum physics and the DFT. For molecular energy prediction tasks, we demonstrated the viability of an ``extrapolation,'' in which we trained a QDF model with small molecules, tested it with large molecules, and achieved high extrapolation performance. This will lead to reliable and practical applications for discovering effective materials. The implementation is available at this https URL.

연구 동기 및 목표

• 분자에 대한 분자 궤도의 선형 조합(LCAO)과 그래프 컬러션 네트워크(GCN) 사이의 이론적 등가성을 수립하기 위해.
• 기존 GCN의 문제점, 예를 들어 불필요한 비선형성과 깊은 아키텍처를 해결하기 위해 더 단순하고 물리학에 기반한 대안을 제안하기 위해.
• 기본 양자역학적 원리, 특히 DFT를 활용한 기계학습 모델을 개발하여 분자 에너지 예측의 높은 일반화 능력을 향상시키기 위해.
• 작은 분자에서 큰 분자로의 신뢰할 수 있는 외삽을 가능하게 하여 재료 발견에 있어 필수적인 요구사항을 충족시키기 위해.
• 모델의 해석 가능성과 확장성을 확보하기 위해 양자역학적 원리를 아키텍처에 직접 통합하기 위해.

제안 방법

• LCAO와 GCN 간의 등가성을 수학적으로 정식화하여, LCAO가 분자 그래프에 적용된 선형 GCN 레이어와 수학적으로 동일하다는 것을 보여주기 위해.
• 단일 선형 GCN 레이어를 기반으로 한 보다 단순한 모델인 양자 심층장(QDF)을 제안하여 깊은 아키텍처와 불필요한 비선형성을 피하기 위해.
• 에너지 기능과 Hohenberg–Kohn 사상 모두에 비선형성을 내재적으로 포함하고 있는 두 개의 보편적인 피드포워드 신경망을 사용하여 학습하기 위해.
• QDF 모델을 소분자에서 학습하고 더 큰, 새로운 분자에서의 성능을 평가하여 외삽 능력을 시험하기 위해.
• 밀도함수이론(DFT)의 프레임워크 내에 모델을 통합하여 물리적 일관성과 해석 가능성을 보장하기 위해.
• 효율성과 확장성에 중점을 두고 모델을 구현하여 재료 발견 파이프라인에서의 실용적 구현을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 양자화학에서 사용되는 원자 궤도의 선형 조합(LCAO) 형식이 분자에 대한 그래프 컬러션 네트워크(GCN)로 공식적으로 매핑될 수 있는가?
• RQ2 표준 GCN이 분자 시스템을 모델링할 때 불필요한 복잡성을 유발하는 깊은 아키텍처와 비선형성을 도입하는 이유는 무엇인가? 더 단순한 모델이 충분할 수 있는가?
• RQ3 기본 양자역학적 원리, 예를 들어 DFT의 원리들을 통합하면서도 고일반화 능력을 유지할 수 있는 기계학습 모델은 어떻게 설계할 수 있는가?
• RQ4 소분자에서 학습한 모델이 대규모 분자로 일반화될 수 있는가? 이는 재료 발견에 어떤 의미를 갖는가?
• RQ5 물리학에 기반한 모델인 QDF는 표준 GCN보다 외삽 작업에서 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• 양자화학에서 사용되는 LCAO 방법은 분자 그래프에 적용된 선형 그래프 컬러션 네트워크(GCN)와 수학적으로 동일하다.
• 그래프 컬러션 네트워크(GCN)는 분자 시스템을 양자역학적으로 모델링할 때 불필요한 비선형성과 깊은 아키텍처를 도입한다.
• 단일 선형 GCN 레이어를 기반으로 한 제안된 양자 심층장(QDF) 모델은 분자 에너지 예측에서 높은 성능를 달성한다.
• QDF 모델은 소분자에서 학습한 후 더 큰, 새로운 분자로의 일반화를 효과적으로 수행함으로써 강력한 외삽 능력을 보여준다.
• 에너지 기능과 Hohenberg–Kohn 사상을 학습하기 위해 두 개의 피드포워드 신경망을 사용함으로써 내재된 양자역학적 비선형성이 유지된다.
• QDF의 구현은 공개되어 있어 재현성과 재료 발견 응용 분야에서의 추가 개발을 가능하게 한다.