[논문 리뷰] UniIF: Unified Molecule Inverse Folding

Zhangyang Gao, Jue Wang외 6명|arXiv (Cornell University)|2024. 05. 29.

Synthesis and properties of polymersMaterials Science인용 수 3

한 줄 요약

UniIF는 통합 블록 그래프 표현과 가상의 장기 의존성 모듈을 갖춘 기하학적 블록 어텐션 네트워크를 도입하여 모든 분자—작은 분자, 단백질, RNA, 물질—에 대한 역설계를 위한 최초의 통합 딥러닝 프레임워크를 제안한다. 이는 단백질, RNA, 물질 설계 과제에서 최신 기준(SoTA) 성능을 달성하며 이전 모델들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Molecule inverse folding has been a long-standing challenge in chemistry and biology, with the potential to revolutionize drug discovery and material science. Despite specified models have been proposed for different small- or macro-molecules, few have attempted to unify the learning process, resulting in redundant efforts. Complementary to recent advancements in molecular structure prediction, such as RoseTTAFold All-Atom and AlphaFold3, we propose the unified model UniIF for the inverse folding of all molecules. We do such unification in two levels: 1) Data-Level: We propose a unified block graph data form for all molecules, including the local frame building and geometric feature initialization. 2) Model-Level: We introduce a geometric block attention network, comprising a geometric interaction, interactive attention and virtual long-term dependency modules, to capture the 3D interactions of all molecules. Through comprehensive evaluations across various tasks such as protein design, RNA design, and material design, we demonstrate that our proposed method surpasses state-of-the-art methods on all tasks. UniIF offers a versatile and effective solution for general molecule inverse folding.

연구 동기 및 목표

• 작은 분자, 단백질, 물질 간에 통합된 모델이 부족한 문제를 해결한다.
• 원자, 아미노산, 뉴클레오타이드를 고정된 크기의 표현을 갖는 통합된 블록으로 간주함으로써 단위 불일치 문제를 해결한다.
• 다양한 분자 유형 간의 3차원 상호작용을 일관되게 캡처할 수 있는 기하학적 특징 추출 전략을 개발한다.
• 이차적 계산 비용이 발생하지 않도록 대규모 분자 시스템에서 장거리 의존성을 모델링할 수 있도록 한다.
• 다양한 역설계 과제에서 뛰어난 성능을 보이는 단일 통합형 일반 목적 모델을 구축한다.

제안 방법

• 각 블록(원자, 아미노산, 뉴클레오타이드)을 분리된 등변 기저와 불변 특징으로 인코딩하는 통합 블록 그래프 표현 방식을 도입한다.
• 국소 좌표 프레임과 가상 원자 간의 내적곱을 사용하여 기하학적 특징을 구성함으로써 3차원 상호작용을 모델링한다.
• 기하학적 상호작용, 상호작용 어텐션, 가상의 장기 의존성이라는 세 가지 핵심 모듈을 갖춘 기하학적 블록 어텐션 네트워크를 설계한다.
• 스parsely GNN를 사용하고 전역 가상 블록을 도입하여 계산 비용을 줄이면서도 장거리 의존성을 유지한다.
• 기하학적 특징 추출을 향상시키기 위해 미분 가능하고 GNN 기반의 방법으로 국소 프레임의 방향을 학습한다.
• 모델의 모든 레이어에서 동일한 기하학적 특징 추출기를 재사용하여 구조적 표현의 반복적 정밀화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 하나의 딥러닝 모델이 작은 분자, 단백질, RNA, 물질에 걸쳐 효과적으로 역설계를 수행할 수 있는가?
• RQ2 원자와 사전 정의된 미세 구조 사이의 단위 불일치 문제를 해결하기 위해 어떻게 통합된 데이터 표현을 설계할 수 있는가?
• RQ3 어떤 기하학적 특징 추출 전략이 다양한 분자 유형 간에 일관된 3차원 상호작용 모델링을 가능하게 하는가?
• RQ4 이차적 계산 비용 없이 대규모 분자 시스템에서 장거리 의존성을 효과적으로 포착할 수 있는가?
• RQ5 가상의 장기 의존성 모듈 통합이 역설계 과제 성능 향상에 기여하는가?

주요 결과

• UniIF는 단백질 설계에서 최신 기준 성능을 달성하여 복원률 48.94% ± 0.37을 기록하며 이전 최고 성능(RDesign, 41.53% ± 0.38)을 초월한다.
• RNA 설계 과제에서 UniIF는 복원률 48.94% ± 0.37을 달성하여 PiFold(24.48% ± 1.13)와 GraphTrans(24.73% ± 0.93)를 압도적으로 앞선다.
• CHILI-3K 데이터셋에서의 물질 설계 과제에서 UniIF는 복원률 75.3% ± 1.2를 기록하며 GIN(58.7% ± 0.2)과 EdgeCNN(63.2% ± 0.9)를 크게 앞서나간다.
• 제거 실험 결과, GNN를 통한 국소 프레임 학습이 성능 향상에 기여하며, Householder 직교화를 사용할 경우 복원률이 65.2% ± 3.9로 떨어진다.
• 가상의 장기 의존성 모듈이 성능 향상에 기여함을 확인하였으며, UniIF는 0.2의 드롭률에서 단백질 설계 과제에서 복원률 47.19% ± 0.45를 기록했고, 이는 이 모듈 없이 44.29% ± 0.29를 기록한 것과 비교해 뚜렷한 향상이다.
• AlphaFold3 재접힘을 통한 확인 결과, UniIF는 천연 구조에 가까운 구조로 접히는 시퀀스를 성공적으로 설계하였으며, 기준 모델 대비 RMSD와 복원률에서 향상된 성능을 보였다.