[논문 리뷰] Orientation-Aware Graph Neural Networks for Protein Structure Representation Learning

Jiahan Li, Shitong Luo외 6명|arXiv (Cornell University)|2022. 01. 28.

Machine Learning in Bioinformatics인용 수 4

한 줄 요약

이 논문은 단일 스칼라 가중치를 3차원 방향성 벡터로 확장하여 단백질 3D 구조 내 미세한 기하 관계(예: 페프틸 띠의 방향성, 측쇄 비틀림 각도)를 더 잘 포착할 수 있도록 하는 방향성 가중치(\overrightarrow{{\mathbf{W}}}) 그래프 신경망을 소개한다. 단백질 그래프 상에서 새로운 SO(3)-동형 메시지 전파 프레임워크에 \overrightarrow{{\mathbf{W}}}-퍼셉트론을 통합함으로써, 기하학적 표현력과 생물학적 타당성을 유지하면서도 여러 단백질 구조 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

By folding into particular 3D structures, proteins play a key role in living beings. To learn meaningful representation from a protein structure for downstream tasks, not only the global backbone topology but the local fine-grained orientational relations between amino acids should also be considered. In this work, we propose the Orientation-Aware Graph Neural Networks (OAGNNs) to better sense the geometric characteristics in protein structure (e.g. inner-residue torsion angles, inter-residue orientations). Extending a single weight from a scalar to a 3D vector, we construct a rich set of geometric-meaningful operations to process both the classical and SO(3) representations of a given structure. To plug our designed perceptron unit into existing Graph Neural Networks, we further introduce an equivariant message passing paradigm, showing superior versatility in maintaining SO(3)-equivariance at the global scale. Experiments have shown that our OAGNNs have a remarkable ability to sense geometric orientational features compared to classical networks. OAGNNs have also achieved state-of-the-art performance on various computational biology applications related to protein 3D structures. The code is available at https://github.com/Ced3-han/OAGNN/tree/main.

연구 동기 및 목표

• 기존의 고전적 및 동형 GNN 모델들이 단백질 3D 구조 내 아미노산 방향성 및 비틀림 각도와 같은 미세한 기하 특징을 포착하는 데에 한계가 있음을 해결하기 위해.
• 스칼라 및 벡터 특징 모두에 대한 풍부한 기하 연산을 지원하는 기하학적으로 표현력이 풍부한 신경망 프레임워크를 개발하기 위해.
• 모델 아키텍처에 제약을 두지 않고도 전역 기하 불변성을 유지하는 단백질 그래프 상의 SO(3)-동형 메시지 전파 프레임워크를 설계하기 위해.
• 기존 GNN 아키텍처에 최소한의 수정으로도 제안된 프레임워크를 원활하게 통합할 수 있도록 하기 위해.
• 고전적 및 동형 기준 모델에 비해 단백질 구조 표현 작업에서 더 뛰어난 표현력과 성능을 보여주기 위해.

제안 방법

• 스칼라 가중치를 3차원 방향성 벡터로 일반화하여 스칼라 및 벡터 특징 모두에 기하 연산을 가능하게 하는 \overrightarrow{{\mathbf{W}}}-퍼셉트론을 제안한다.
• 지역 기준축(예: 페프틸 띠의 방향성 {\bm{O}}_{u})을 사용하여 특징를 局부 좌표계로 변환함으로써 동형 처리를 위한 새로운 메시지 전파 프레임워크를 도입한다.
• 집계된 노드 및 에지 특징를 처리하기 위해 다층 \overrightarrow{{\mathbf{W}}}-퍼셉트론(\mathcal{F} 및 \mathcal{H})을 사용하며, 전역 좌표계로의 변환도 수행한다.
• 스칼라 및 벡터 표현에 적합한 주의 메커니즘을 적용하여 다양한 GNN 변형(DW-GCN, DW-GIN, DW-GAT)에 프레임워크를 적용한다.
• 벡터 특징와 스칼라 특징에 각각 프레보니우스 내적과 표준 내적을 사용하여 주의 점수를 계산함으로써 선택적 이웃 집계를 가능하게 한다.
• 각 아미노산 잔기의 강체 변환을 활용하여 SO(3)-동형성을 전역적으로 보장하며, 부록에서 수학적으로 증명하였다.

실험 결과

연구 질문

• RQ1 스칼라 가중치를 3차원 방향성 벡터로 확장함으로써 단백질 3D 구조 내 미세 기하 특징(예: 측쇄 비틀림 각도)의 모델링 성능이 크게 향상되는가?
• RQ2 모델 아키텍처에 제약을 두지 않고도 일반적인 GNN 프레임워크에서 SO(3)-동형성을 효과적으로 유지할 수 있는가?
• RQ3 \overrightarrow{{\mathbf{W}}}-퍼셉트론이 기존의 고전적 및 동형 GNN 모델에 비해 단백질 특화된 기하 관계(예: 측쇄 비틀림 각도)를 얼마나 잘 포착하는가?
• RQ4 제안된 프레임워크는 다양한 GNN 아키텍처에 탄력적으로 통합될 수 있으며, 기하 표현력과 성능을 유지하는가?
• RQ5 동형 메시지 전파 프레임워크가 여러 단백질 구조 학습 작업에서 성능 향상에 기여하는가?

주요 결과

• 제안된 \overrightarrow{{\mathbf{W}}}-GNN 프레임워크는 고전적 스칼라 가중치 네트워크 및 기존 SO(3)-동형 모델에 비해 기하 관계 모델링에서 뛰어난 표현력을 보였다.
• 합성 데이터셋에서 모델은 VNN 기반 접근 방식이 잘 포착하지 못하는 각도 관계(예: 측쇄 비틀림 각도)를 성공적으로 포착하였다.
• 기능 예측, 디코이 랭킹, 단백질 도킹, 드라이버 돌연변이 식별 등의 다양한 단백질 구조 학습 작업에서 최신 기술 수준의 성능을 달성하였다.
• 학습 가능한 주의 메커니즘을 갖춘 DW-GAT 변형은 스칼라 및 벡터 특징에 대해 선택적 이웃 집계를 가능하게 하여 이질적인 단백질 상호작용에서의 표현 학습 성능을 향상시켰다.
• SO(3)-동형 메시지 전파 프레임워크는 \mathcal{F} 및 \mathcal{H}의 설계를 제한하지 않으면서도 전역 기하 일관성을 보장하여 탄력적이고 강력한 아키텍처를 가능하게 하였다.
• 모든 모델 및 코드는 수락 후 공개될 예정이며, 재현 가능성과 향후 다른 3차원 학습 작업으로의 확장에 기여할 것이다.