[논문 리뷰] Knowledge-Design: Pushing the Limit of Protein Design via Knowledge Refinement

Zhangyang Gao, Cheng Tan외 1명|arXiv (Cornell University)|2023. 05. 20.

Machine Learning in Bioinformatics인용 수 6

한 줄 요약

지식-디자인은 사전 훈련된 모델들(ESM, ESM-IF, GearNet)에서 유래한 다중모odal 지식을 활용하여 단백질 서열 설계에서 저신뢰도 잔기들을 반복적으로 수정하는 신뢰도 인식 보정 프레임워크를 제안한다. 게이트형 어텐션 융합과 메모리 검색 기반 메커니즘을 통합함으로써 CATH4.2에서 60.77%의 복구율을 달성하였으며, PiFold를 9.11% 초월하여 CATH, TS50, TS500 벤치마크에서 모두 60% 복구율을 초과한 최초의 방법이 되었다.

ABSTRACT

Recent studies have shown competitive performance in protein design that aims to find the amino acid sequence folding into the desired structure. However, most of them disregard the importance of predictive confidence, fail to cover the vast protein space, and do not incorporate common protein knowledge. After witnessing the great success of pretrained models on diverse protein-related tasks and the fact that recovery is highly correlated with confidence, we wonder whether this knowledge can push the limits of protein design further. As a solution, we propose a knowledge-aware module that refines low-quality residues. We also introduce a memory-retrieval mechanism to save more than 50\% of the training time. We extensively evaluate our proposed method on the CATH, TS50, and TS500 datasets and our results show that our Knowledge-Design method outperforms the previous PiFold method by approximately 9\% on the CATH dataset. Specifically, Knowledge-Design is the first method that achieves 60+\% recovery on CATH, TS50 and TS500 benchmarks. We also provide additional analysis to demonstrate the effectiveness of our proposed method. The code will be publicly available.

연구 동기 및 목표

• 기존 단백질 설계 모델이 예측 신뢰도를 다루지 못하고 일반적인 단백질 지식을 통합하지 못하는 한계를 해결한다.
• 사전 훈련된 모델로부터의 지식 정제를 통해 반복 보정에서의 성능 포화를 극복하고 국소 최적점에서 벗어나도록 한다.
• ESM, ESM-IF, GearNet로부터의 구조적 및 서열 지식을 통합함으로써 설계된 단백질 서열의 일반화 능력과 구조 정확도를 향상시킨다.
• 중간 모듈 출력을 캐시하는 메모리 검색 기반 메커니즘을 도입함으로써 대규모 단백질 설계에서의 훈련 시간을 단축시킨다.
• 다양한 벤치마크, 특히 CATH, TS50, TS500에서 최신 기술 수준의 성능을 달성하기 위해 신뢰도 인식 보정과 다중모달 지식 융합을 조합한다.

제안 방법

• 예측된 아미노산의 최대 확률을 사용하여 저신뢰도 잔기를 식별하는 신뢰도 인식 모듈을 제안한다.
• 예측 신뢰도에 따라 구조적(GearNet), 서열적(ESM), 이력 예측 임베딩을 적응적으로 융합하는 게이트형 어텐션 융합 기반 메커니즘을 구현한다.
• 보정 성능 향상과 모델 수렴을 향상시키기 위해 가상의 MSA와 리사이클링 기법을 도입한다.
• 중간 모듈 출력을 캐시하는 메모리 검색 기반 메커니즘을 설계하여 빠른 추론을 가능하게 하고, 훈련 시간을 50% 이상 단축시킨다.
• 다중모달 지식과 신뢰도 점수에 기반하여 잔기 예측을 반복적으로 향상시키는 다단계 보정 파이프라인을 사용해 Knowledge-Design을 훈련한다.
• ESM과 ESM-IF를 교사 모델로 활용하여 훈련 과정에서 인덕티브 바이어스를 주입하고 국소 최적점에서 벗어나도록 한다.

실험 결과

연구 질문

• RQ1 예측 신뢰도가 단백질 서열 설계에서 저품질 잔기들을 효과적으로 식별하고 보정하는 데에 활용될 수 있는가?
• RQ2 사전 훈련된 모델들(ESM, ESM-IF, GearNet)에서 유래한 다중모달 지식을 통합할 경우 단백질 설계의 정확도와 일반화 능력이 어떻게 향상되는가?
• RQ3 다양한 사전 훈련된 모델들(예: ESM + ESM-IF)을 조합할 경우 개별 모델들에 비해 복구 성능에 어떤 영향을 미치는가?
• RQ4 메모리 검색 기반 메커니즘이 대규모 단백질 설계에서 성능 저하 없이 훈련 시간을 크게 단축시킬 수 있는가?
• RQ5 PiFold와 같은 기준 모델에 비해 지식-디자인은 기준 단백질과의 구조 유사도를 어느 정도 향상시키는가?

주요 결과

• 지식-디자인은 CATH4.2 벤치마크에서 60.77%의 복구율을 달성하였으며, CATH, TS50, TS500에서 모두 60% 복구율을 초과한 최초의 방법이다.
• CATH4.2 데이터셋에서 PiFold 대비 9.11% 높은 복구율을 기록하였으며, ESM과 ESM-IF 지식을 조합했을 때 최고의 성능를 기록하였다.
• ESM과 ESM-IF 지식의 조합은 9.11% 향상 효과를 보였으며, 개별 기여도의 합(5.72% + 2.86%)을 초월하여 상호보완적 효과가 있음을 시사한다.
• 지식-디자인은 올바른 잔기들의 신뢰도를 높이고 저신뢰도 예측을 감소시켜, 정확한 잔기의 경우 신뢰도 분포가 1.0 쪽으로 이동하는 것으로 나타났다.
• ESMFold를 활용한 구조 비교 결과, 지식-디자인은 1a73, 1a81, 1ac1에서 각각 RMSD를 15.9%, 35.3%, 60% 감소시켰다.
• 메모리 검색 기반 메커니즘은 중간 모듈 결과를 캐시함으로써 재귀적 순방향 전파를 방지하고, 훈련 시간을 50% 이상 단축시켰다.