[논문 리뷰] Equivariant Graph Neural Networks for 3D Macromolecular Structure

Bowen Jing, Stephan Eismann외 2명|arXiv (Cornell University)|2021. 06. 07.

Machine Learning in Materials Science참고 문헌 14인용 수 47

한 줄 요약

이 논문은 기하학적 벡터 퍼셉트론 기반 GNN을 원자 수준의 고분자 구조로 벡터 게이팅과 함께 확장하여 ATOM3D 과제에서 강력한 결과를 달성하고 전이 학습의 이점을 보여준다.

ABSTRACT

Representing and reasoning about 3D structures of macromolecules is emerging as a distinct challenge in machine learning. Here, we extend recent work on geometric vector perceptrons and apply equivariant graph neural networks to a wide range of tasks from structural biology. Our method outperforms all reference architectures on three out of eight tasks in the ATOM3D benchmark, is tied for first on two others, and is competitive with equivariant networks using higher-order representations and spherical harmonic convolutions. In addition, we demonstrate that transfer learning can further improve performance on certain downstream tasks. Code is available at https://github.com/drorlab/gvp-pytorch.

연구 동기 및 목표

• 포즈와 방향에 불변인 3D 고분자 구조에서 견고한 학습을 가능하게 한다.
• 벡터 게이팅이 있는 기하학적 벡터 퍼셉터를 사용한 원자 수준의 등각 GNN을 개발한다.
• ATOM3D 태스크에서 CNN, GNN, ENN 기준선과 모델을 벤치마크한다.
• 데이터가 적은 고분자 데이터셋의 성능 향상을 위해 전이 학습을 모색한다.

제안 방법

• 원자들을 노드로, 4.5 Å 이내 쌍에 대해 간선을 두어 고분자들을 그래프로 표현한다.
• 메시지 전달 중 회전 등가성을 보존하기 위해 스칼라 및 벡터 특징을 가진 GVP-GNN을 사용한다.
• 원자 수준 입력에서 스칼라 채널로부터 벡터 채널로 정보를 전달하기 위해 벡터 게이팅을 도입한다.
• 다섯 층과 평균 풀링을 갖는 원자 수준 구조에 GVP-GNN을 확장하여 다운스트림 작업에 적용한다.
• ATOM3D 벤치마크에서 CNN, GNN, ENN 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 벡터 특징을 갖는 등각 메시지 전달이 원자 수준의 고분자 구조를 효과적으로 모델링할 수 있는가?
• RQ2 기존 기준선과 비교하여 벡터 게이팅된 GVP-GNN이 다양한 ATOM3D 과제에서 경쟁력 있는 성능을 보이는가?
• RQ3 데이터가 풍부한 과제로부터의 전이 학습이 데이터가 부족한 고분자 과제에 도움이 되는가?
• RQ4 이 도메인에서 원자 수준 확장의 GVP-GNN은 고차 등각 네트워크와 어떻게 비교되는가?

주요 결과

• 벡터 게이팅된 GVP-GNN은 세 가지 ATOM3D 과제에서 최상위 방법이며 다른 두 과제에서도 1위를 차지한 것으로 공동 1위이다.
• 1차 벡터 표현만을 사용함에도 불구하고 고차 ENN 아키텍처와 경쟁한다.
• SMP와 RES로부터의 전이 학습이 여러 다운스트림 작업(PPI, MSP, PSR)의 성능을 향상시킨다.
• 사전 학습은 일부 과제에서 학습 속도를 높이지만 다른 과제에서 과적합될 수 있다(예: LBA).
• 본 접근법은 다양한 고분자 구조 과제에서 강력한 성능을 보여주고 보편 근사 특성의 확장을 제공한다.