[논문 리뷰] Generalist Equivariant Transformer Towards 3D Molecular Interaction Learning

Xiangzhe Kong, Wenbing Huang외 1명|arXiv (Cornell University)|2023. 06. 02.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 논문은 다양한 3D 분자 복합체를 블록 수준(예: 잔기, 뉴클레오타이드기 등)과 원자 수준의 구조를 모두 포괄하는 기하학적 그래프의 집합으로 표현하는 통합 E(3)-등변 모델인 일반화된 등변 트랜스포머(Geometric Equivariant Transformer, GET)를 제안한다. GET은 이중 수준의 어텐션과 등변 모듈을 사용하여 크기가 다른 블록 간의 세밀한 정보를 유지하며, 단백질-단백질 상호작용 예측을 포함한 교차 도메인 분자 상호작용 예측에서 최고 성능을 기록한다. 특히 RNA/DNA-리간드 친화도 예측에 대해 제로샷 학습도 가능하다.

ABSTRACT

Many processes in biology and drug discovery involve various 3D interactions between molecules, such as protein and protein, protein and small molecule, etc. Given that different molecules are usually represented in different granularity, existing methods usually encode each type of molecules independently with different models, leaving it defective to learn the various underlying interaction physics. In this paper, we first propose to universally represent an arbitrary 3D complex as a geometric graph of sets, shedding light on encoding all types of molecules with one model. We then propose a Generalist Equivariant Transformer (GET) to effectively capture both domain-specific hierarchies and domain-agnostic interaction physics. To be specific, GET consists of a bilevel attention module, a feed-forward module and a layer normalization module, where each module is E(3) equivariant and specialized for handling sets of variable sizes. Notably, in contrast to conventional pooling-based hierarchical models, our GET is able to retain fine-grained information of all levels. Extensive experiments on the interactions between proteins, small molecules and RNA/DNAs verify the effectiveness and generalization capability of our proposed method across different domains.

연구 동기 및 목표

• 단백질, 소분자, RNA/DNA 간 다양한 3D 분자 상호작용을 위한 통합된 일반화된 표현 방식의 부족을 해결하기 위해.
• 도메인 특화 모델과 계층적 풀링 기반 접근 방식이 세밀한 구조적 정보를 손실하는 데서 비롯하는 한계를 극복하기 위해.
• 도메인 특화 계층과 보편적인 상호작용 물리 법칙을 모두 포괄할 수 있는 단일 등변 모델을 개발하기 위해.
• 특히 RNA/DNA-리간드 결합 친화도 예측에 대해 제로샷 전이 학습을 가능하게 하기 위해.
• 통합된 기하학적 그래프 표현에서 블록 수준의 특이성과 원자 수준의 공유 가능성을 모두 유지하기 위해.

제안 방법

• 기하학적 그래프의 집합 표현 방식을 제안: 상위 수준의 분자 블록(예: 잔기, 뉴클레오타이드기 등)으로 이루어진 그래프이며, 각 블록은 원자 집합을 포함한다.
• 희소한 블록 수준 표현과 조밀한 원자 수준 표현을 동시에 고려하는 이중 수준 어텐션 메커니즘을 설계하여 원자 특징을 업데이트한다.
• 각 블록 내 순열에 대해 불변이며, 3D 회전, 이동, 반사에 대해 등변적인 E(3)-등변 피드포워드 및 레이어 정규화 모듈을 활용한다.
• 블록 내 순열 불변성과 다양한 크기의 블록 간 크기 무관 연산을 보장한다.
• 계층적 풀링 없이도 이중 수준 기하학적 그래프를 처리할 수 있는 통합 트랜스포머 아키텍처를 사용하며, E(3)-등변 모듈을 적용한다.
• 혼합 데이터셋에서 엔드 투 엔드로 모델을 훈련시켜 도메인 간 전이 학습과 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 통합 모델이 단백질, 소분자, RNA/DNA 간 다양한 3D 분자 복합체를 효과적으로 표현하고 학습할 수 있는가?
• RQ2 이중 수준 기하학적 그래프의 집합 표현 방식이 기존의 단일 수준 또는 계층적 접근 방식보다 블록 수준의 특이성과 원자 수준의 공유 가능성을 더 잘 유지하는가?
• RQ3 E(3)-등변 트랜스포머가 풀링 기반 집합화에 의존하지 않고도 세밀한 구조적 정보를 유지할 수 있는가?
• RQ4 통합 모델이 제로샷 전이 학습을 통해 예측되지 않은 도메인, 특히 RNA/DNA-리간드 결합에 대해 얼마나 일반화할 수 있는가?
• RQ5 제안된 GET가 도메인 특화 모델, 단일 수준 모델, 계층적 모델에 비해 분자 상호작용 친화도 예측에서 어떻게 성능을 내는가?

주요 결과

• GET는 단백질-단백질 친화도 예측에서 최고의 피어슨 상관계수(0.697 ± 0.003)와 슆르스피어 상관계수(0.555 ± 0.008)를 기록하여 모든 베이스라인을 압도했다.
• 리간드 결합 친화도 예측에서는 가장 낮은 RMSE(1.327 ± 0.005)와 가장 높은 피어슨 상관계수(0.620 ± 0.004) 및 습르스피어 상관계수(0.611 ± 0.003)를 기록했으며, RNA/DNA-리간드 시스템에서 강력한 제로샷 성능을 보였다.
• 혼합 미세조정을 수행한 모델(Goal-mix)은 모든 벤치마크에서 최고 성능을 기록하여 강력한 일반화 및 전이 가능성의 가능성을 입증했다.
• 풀링을 사용하는 계층적 모델들이 세밀한 정보를 상실하는 경향이 있는 데 비해, GET는 원자 수준과 블록 수준의 표현을 모두 유지함으로써 슈퍼리어한 성능을 기록했다.
• 제거 실험을 통해 이중 수준 어텐션과 E(3)-등변 설계가 성능 향상에 핵심적임을 확인했으며, 특히 교차 도메인 전이에서 두드러진다.
• GET는 RNA/DNA-리간드 결합 친화도 예측에서 강력한 제로샷 일반화 성능를 보이며, 도메인 특화 패턴을 초월해 보편적인 상호작용 물리 법칙을 포착하고 있음을 시사한다.