[논문 리뷰] AtomSurf : Surface Representation for Learning on Protein Structures

Vincent Mallet, Souhaib Attaiki외 3명|arXiv (Cornell University)|2023. 09. 28.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 단백질 구조를 위한 표면 기반 표현 방식인 AtomSurf를 소개한다. 이는 통합된 아키텍처 내에서 그래프 학습과 표면 학습을 유기적으로 융합한 새로운 방법이다. 두 모odal 간 기하학적 메시지 전파를 통합함으로써, 모든 Atom3D 벤치마크 과제에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 단독으로 표면 또는 그래프 기반 접근 방식을 사용하는 것보다 뛰어나다. 특히 리간드 결합 풍선 분류 및 단백질 구조 예측 과제에서 두드러진 성능 향상을 보였다.

ABSTRACT

While there has been significant progress in evaluating and comparing different representations for learning on protein data, the role of surface-based learning approaches remains not well-understood. In particular, there is a lack of direct and fair benchmark comparison between the best available surface-based learning methods against alternative representations such as graphs. Moreover, the few existing surface-based approaches either use surface information in isolation or, at best, perform global pooling between surface and graph-based architectures. In this work, we fill this gap by first adapting a state-of-the-art surface encoder for protein learning tasks. We then perform a direct and fair comparison of the resulting method against alternative approaches within the Atom3D benchmark, highlighting the limitations of pure surface-based learning. Finally, we propose an integrated approach, which allows learned feature sharing between graphs and surface representations on the level of nodes and vertices across all layers. We demonstrate that the resulting architecture achieves state-of-the-art results on all tasks in the Atom3D benchmark, while adhering to the strict benchmark protocol, as well as more broadly on binding site identification and binding pocket classification. Furthermore, we use coarsened surfaces and optimize our approach for efficiency, making our tool competitive in training and inference time with existing techniques. Code can be found online: https://github.com/Vincentx15/atomsurf

연구 동기 및 목표

• 표면 기반 표현 방식이 단백질 구조 학습에서 그래프 및 격자 기반 방법과 비교하여 얼마나 효과적인지 평가하는 것.
• 표면에 민감한 과제에 이론적으로 유리한 점이 있음에도 불구하고 단독 표면 학습이 다른 모odal에 비해 성능이 열등한 한계를 해결하는 것.
• 그래프 및 표면 표현 방식의 상호보완적 강점을 유기적으로 융합할 수 있는 통합형, 학습 가능한 아키텍처를 설계하는 것.
• 제안된 방법을 Atom3D 벤치마크 및 결합 풍선 분류 과제에 적용하여 새로운 성능 기준을 설정하는 것.
• 최적의 성능을 내기 위해 다중 모달 융합의 아키텍처 선택, 메시지 전파 기법 및 네트워크 깊이 등을 탐색하는 것.

제안 방법

• 단백질을 삼각형 메쉬를 사용한 3차원 분자 표면으로 표현하여 곡률 및 지오데식 등의 기하적 성질을 유지한다.
• 그래프 기반 원자 노드와 표면 기반 메쉬 정점 간의 양방향 정보 교환을 가능하게 하는 이분 그래프 메시지 전파 프레임워크를 도입한다.
• 세 가지 별도의 메시지 전파 기법을 사용한다: 자기주의(Att.), 그래프 컬러리션 네트워크(GCN), 그래프 주의망(GAT)으로, 계산 효율성을 높이기 위해 플래시 어텐션(Flash Attention)을 적용한다.
• 표면 표현 학습을 향상시키기 위해 표면 인코더로 DiffusionNet을 사용하며, 이전 연구에서 사용된 성능이 떨어지는 MeshCNN을 대체한다.
• 최종 예측 헤드 이전에 양 모달의 특징을 융합하기 위해 공유된 학습 가능한 프로젝션 헤드를 적용한다.
• 파arameter 수를 동일하게 유지하면서 네트워크 깊이(3 또는 4 블록)와 메시지 전파 전략을 변화시켜 탈락 분석(Ablation study)을 수행한다.

실험 결과

연구 질문

• RQ1 표면 기반 표현 방식만으로도 그래프 또는 격자 기반 방법과 비교해 단백질 구조 학습 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 그래프와 표면 표현 방식을 융합함으로써 단백질 구조 예측 및 결합 부위 분류 과제에서 성능 향상이 이루어지는가?
• RQ3 하이브리드 그래프-표면 아키텍처에서 어떤 메시지 전파 기법(GAT, GCN, 자기주의 등)이 가장 높은 성능을 내는가?
• RQ4 더 깊은 아키텍처 또는 교차 모달 어텐션은 단백질 구조 내 장거리 의존성을 포착하는 데에 모델의 능력을 향상시키는가?
• RQ5 통합형, 학습 가능한 아키텍처는 다중 모달 단백질 표현 학습에서 순차적 또는 병렬 융합 전략을 능가할 수 있는가?

주요 결과

• 이론적으로 유리한 성질을 지닌 표면 기반 방법이지만, Atom3D 벤치마크에서는 그래프 및 격자 기반 모델에 비해 성능이 열등하다.
• 제안된 하이브리드 아키텍처는 테스트된 모든 과제에서 최신 기술 수준 성능을 달성하였으며, MSP(AuROC: 0.707), PIP(AuROC: 0.859), PSR(AuROC: 0.833) 등에서 뛰어난 성능을 보였다.
• 깊이 3인 GAT 기반 이분 그래프 메시지 전파 기법이 전체적으로 가장 뛰어난 성능을 보였으며, 특히 표면 전용 모델이 실패하는 PSR 과제에서 두드러진 성능 향상을 보였다.
• 자기주의 기법(Att.)이 대부분의 과제에서 局부적 메시지 전파보다 뛰어나 성능을 내어, 표면 유도 학습에서 장거리 정보 흐름이 핵심임을 시사한다.
• 더 깊은 네트워크(4 블록)는 PIP 및 PSR 과제에서 성능 향상을 보였으며, 하이브리드 환경에서 특징 정제 능력 향상에 기여함을 시사한다.
• 순차적 및 병렬 융합 베이스라인은 성능이 열악하여, 단순한 융합 전략은 최적화되지 않았고 아키텍처 설계가 성공에 결정적임을 시사한다.