[논문 리뷰] Deeply learning molecular structure-property relationships using graph attention neural network.

Seongok Ryu, Jaechang Lim외 1명|arXiv (Cornell University)|2018. 05. 28.

Machine Learning in Materials Science참고 문헌 46인용 수 10

한 줄 요약

이 논문은 환경 인식 원자 표현과 적응형 특징 정련을 통해 분자 성질 예측을 향상시키기 위해 게이트형 스킵 연결을 갖춘 그래프 어텐션 신경망을 제안한다. 이 모델은 용해도, 극성, 합성 가능성, 태양전지 효율 예측에서 베이직 GCN보다 뛰어난 성능을 보이며, 고효율 태양전지 성능을 위한 기여하는 기여도가 높은 기여도 영역으로 기여도 영역을 식별한다. 이는 잠재 공간에서 유사한 분자를 정확하게 클러스터링할 수 있게 한다.

ABSTRACT

Molecular structure-property relationships are key to molecular engineering for materials and drug discovery. The rise of deep learning offers a new viable solution to elucidate the structure-property relationships directly from chemical data. Here we show that the performance of graph convolutional networks (GCNs) for the prediction of molecular properties can be improved by incorporating attention and gate mechanisms. The attention mechanism enables a GCN to identify atoms in different environments. The gated skip-connection further improves the GCN by updating feature maps at an appropriate rate. We demonstrate that the resulting attention- and gate-augmented GCN could extract better structural features related to a target molecular property such as solubility, polarity, synthetic accessibility and photovoltaic efficiency compared to the vanilla GCN. More interestingly, it identified two distinct parts of molecules as essential structural features for high photovoltaic efficiency, and each of them coincided with the areas of donor and acceptor orbitals for charge-transfer excitations, respectively. As a result, the new model could accurately predict molecular properties and place molecules with similar properties close to each other in a well-trained latent space, which is critical for successful molecular engineering.

연구 동기 및 목표

• 주의 및 게이팅 메커니즘을 통합하여 그래프 컨volution 네트워크의 성능을 향상시켜 분자 성질 예측을 향상시키는 것.
• 유기 분자에서 높은 태양전지 효율을 위한 핵심적인 구조적 특징을 규명하는 것.
• 잘 훈련된 잠재 공간에서 유사한 성질을 가진 분자를 정확하게 클러스터링할 수 있도록 하는 것.
• 복잡한 구조-성질 관계를 포착하는 환경 인식 원자 표현을 학습하는 것.

제안 방법

• 원자가 화학적 환경에 따라 이웃 원자를 주의할 수 있도록 그래프 컨볼루션 네트워크에 주의 메커니즘을 통합한다.
• 특징 업데이트의 흐름을 제어하고 학습을 안정화시키기 위해 게이트형 스킵 연결을 적용한다.
• 용해도, 극성, 합성 가능성, 태양전지 효율 등의 성질을 예측하기 위해 분자 그래프에서 엔드 투 엔드로 모델을 훈련시킨다.
• 노드 수준의 주의를 통해 이웃 원자의 기여도를 가중치를 매기며, 화학적으로 관련 있는 상호작용에 초점을 맞춘다.
• 훈련된 모델의 잠재 공간을 활용하여 유사한 성질을 가진 분자를 클러스터링한다.
• 노드 특징에서 유도된 쿼리, 키, 밸류 벡터를 사용하여 주의 가중치를 계산하는 메시지 전달 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 분자 그래프에서 환경에 특화된 원자 표현을 학습하는 데 GCN의 능력을 향상시키는가?
• RQ2 게이트형 스킵 연결의 통합이 GCN 기반의 분자 성질 예측 성능과 안정성에 어떻게 기여하는가?
• RQ3 유기 분자에서 높은 태양전지 효율을 예측하는 데 가장 예측력 있는 구조적 특징은 무엇인가?
• RQ4 모델의 잠재 공간이 후속 분자 설계를 위한 유사한 성질을 가진 분자를 효과적으로 그룹화하는 데 효과적인가?
• RQ5 주의 가중치가 알려진 전자적 특징인 기여도 및 수용체 오비탈 영역과 일치하는 분자의 영역을 강조하는가?

주요 결과

• 주의 및 게이트를 통합한 GCN은 용해도, 극성, 합성 가능성, 태양전지 효율 예측에서 베이직 GCN보다 뛰어난 성능을 보였다.
• 모델은 고효율 태양전지 성능을 위한 두 가지 구분된 분자 영역을 핵심 요소로 식별하였으며, 이는 전하 이동 흥분을 위한 기여도 및 수용체 오비탈에 해당한다.
• 모델이 학습한 잠재 공간은 유사한 성질을 가진 분자를 가까이 놓아 효과적인 분자 클러스터링을 가능하게 하였다.
• 주의 메커니즘은 원자가 다양한 화학적 환경에 있는 원자를 집중시을 수 있도록 도와주어 특징 표현을 향상시켰다.
• 게이트형 스킵 연결은 더 안정적이고 효과적인 특징 전파를 기여하여 종합적인 예측 성능을 향상시켰다.