[논문 리뷰] PiFold: Toward effective and efficient protein inverse folding

Zhangyang Gao, Cheng Tan외 2명|arXiv (Cornell University)|2022. 09. 22.

Protein Structure and Dynamics인용 수 49

한 줄 요약

PiFold는 새로운 잔기 피처라이저와 PiGNN 계층을 갖춘 원샷 그래프 신경망 프레임워크를 도입하여 자가회귀 모델에 비해 추론 속도를 크게 높이면서 최첨단 회복률을 달성합니다.

ABSTRACT

How can we design protein sequences folding into the desired structures effectively and efficiently? AI methods for structure-based protein design have attracted increasing attention in recent years; however, few methods can simultaneously improve the accuracy and efficiency due to the lack of expressive features and autoregressive sequence decoder. To address these issues, we propose PiFold, which contains a novel residue featurizer and PiGNN layers to generate protein sequences in a one-shot way with improved recovery. Experiments show that PiFold could achieve 51.66\% recovery on CATH 4.2, while the inference speed is 70 times faster than the autoregressive competitors. In addition, PiFold achieves 58.72\% and 60.42\% recovery scores on TS50 and TS500, respectively. We conduct comprehensive ablation studies to reveal the role of different types of protein features and model designs, inspiring further simplification and improvement. The PyTorch code is available at \href{https://github.com/A4Bio/PiFold}{GitHub}.

연구 동기 및 목표

• 정확도와 추론 속도 모두를 개선하여 구조 기반 단백질 설계를 촉진한다.
• 표현력을 풍부하게 하기 위해 학습 가능한 가상 원자를 포함하는 포괄적 잔기 피처라이저를 제안한다.
• 노드, 엣지, 글로벌 수준에서 다중 스케일 잔기 상호작용을 포착하는 PiGNN 계층을 개발한다.
• 정확도를 저하시키지 않으면서 원샷 시퀀스 생성을 가능하게 하기 위해 자가회귀 디코딩을 제거한다.
• 특징 및 모듈 기여를 이해하기 위한 제거 실험과 함께 CATH, TS50, TS500에서 PiFold를 경험적으로 검증한다.

제안 방법

• 회전 및 평행 이동 불변 거리, 각도 및 방향 특징을 포함하여 향상된 노드 및 엣지 특징을 갖는 k-NN 단백질 그래프(k=30)를 구성한다.
• 거리 특징을 위해 실제 원자와 보완적인 정보를 포착하는 학습 가능한 가상 원자 V_i^k를 도입한다.
• 효율적인 다중 스케일 학습을 위해 국소 노드 업데이트, 엣지 업데이트, 및 전역 컨텍스트 게이트를 결합하는 PiGNN 계층을 정의한다.
• 표현력을 개선하기 위해 가용한 엣지 업데이트와 전역 컨텍스트 어텐션을 포함한 AttMLP 기반 노드 메시지 전달을 사용한다.
• 자가회귀 디코딩 없이 원샷 그래프 기반 생성을 채택하여 긴 단백질에서도 선형 시간(O(1) 길이에 대해) 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원샷 그래프 기반 모델이 정확도에서 자가회귀 디코더를 능가하면서 추론 속도를 대폭 높일 수 있는가?
• RQ2 구조 기반 단백질 설계에서 어떤 잔기 특징과 다중 스케일 상호작용이 회복에 가장 큰 기여를 하는가?
• RQ3 PiFold는 기존 그래프 기반 방법에 비해 CATH, TS50, TS500 등 여러 벤치마크에서 얼마나 잘 일반화되는가?
• RQ4 자가회귀 디코딩 제거가 성능 및 효율에 미치는 영향은 무엇인가?

주요 결과

• PiFold는 CATH 4.2에서 51.66% 회복에 도달하여 여러 기준선보다 우수하다.
• PiFold는 TS50에서 58.72%, TS500에서 60.42% 회복을 달성했으며, TS50에서 55%를 넘어선 최초의 그래프 모델이고 TS500에서도 60%를 넘어선 최초의 모델이다.
• 긴 단백질에 대해 추론 속도는 자가회귀 경쟁자에 비해 약 70배 빠르다.
• 제거 실험에서 엣지 특징과 가상 원자가 성능에 상당히 기여함을 보였고, 더 깊은 인코더를 사용해 자가회귀 디코딩을 제거해도 회복률이 유지되거나 향상된다.
• CATH 벤치마크에서 최첨단 성능을 달성하기까지 20개의 학습 에폭이 충분하다.