[논문 리뷰] H-Packer: Holographic Rotationally Equivariant Convolutional Neural Network for Protein Side-Chain Packing

Gian Marco Visani, William Galvin외 2명|arXiv (Cornell University)|2023. 11. 15.

Protein Structure and Dynamics인용 수 5

한 줄 요약

H-Packer는 허브릭스 컨볼루션을 사용하여 단백질 측쇄 이황각($χ$)을 직접 회귀하는 경량이며 회전 등변성인 딥러닝 모델을 소개한다. 이는 물리기반 및 학습 기반 방법과 경쟁 가능한 정확도를 달성하면서도, AttnPacker나 DiffPack와 같은 최신 기술보다 훨씬 빠르고 파라미터 효율성이 뛰어나다.

ABSTRACT

Accurately modeling protein 3D structure is essential for the design of functional proteins. An important sub-task of structure modeling is protein side-chain packing: predicting the conformation of side-chains (rotamers) given the protein's backbone structure and amino-acid sequence. Conventional approaches for this task rely on expensive sampling procedures over hand-crafted energy functions and rotamer libraries. Recently, several deep learning methods have been developed to tackle the problem in a data-driven way, albeit with vastly different formulations (from image-to-image translation to directly predicting atomic coordinates). Here, we frame the problem as a joint regression over the side-chains' true degrees of freedom: the dihedral $χ$ angles. We carefully study possible objective functions for this task, while accounting for the underlying symmetries of the task. We propose Holographic Packer (H-Packer), a novel two-stage algorithm for side-chain packing built on top of two light-weight rotationally equivariant neural networks. We evaluate our method on CASP13 and CASP14 targets. H-Packer is computationally efficient and shows favorable performance against conventional physics-based algorithms and is competitive against alternative deep learning solutions.

연구 동기 및 목표

• 회전 등변성의 특성을 활용하여 국소 단백질 환경에서의 기하학적 추론를 향상시키기 위해 구면 푸리에 공간 연산을 통해 SO(3) 회전 등변성을 달성한다.
• 모델 복잡성과 학습 비용을 줄이고 높은 성능를 유지함으로써 제한된 하드웨어에서도 구현 가능한 계산 효율성과 정확도를 갖춘 단백질 측쇄 패킹 방법을 개발한다.
• 진정한 자유도인 $χ$ 이황각을 직접 회귀하여 기존의 딥러닝 및 물리기반 방법의 한계를 보완한다.
• 측쇄 패킹에 있어 로타머 라이브러리 의존도를 피하기 위한 계산적으로 효율적이고 정확한 방법 개발.
• 사용된 기하학적으로 타당한 손실 함수는 $χ$ 각도의 사인 및余弦 변환을 기반으로 하여 일반화 및 대칭성 처리를 향상시킨다.

제안 방법

• 두 단계 아키텍처를 사용한다: 첫 번째 단계는 배경 구조 좌표와 잔기 종류로부터 初기 $χ$ 각도를 예측하고, 두 번째 단계는 인접한 측쇄 원자 좌표를 사용하여 예측값을 보정한다.
• H-CNN(Holographic Convolutional Neural Networks)를 활용하여 구면 푸리에 공간에서 작동함으로써 SO(3) 회전 등변성을 달성한다.
• $χ$ 각도를 사인 및 코시너스 변환으로 매개변수화하여 주기성을 보장하고 손실 곡면의 불연속성을 방지한다.
• 지역 원자 환경에 기반한 잔기별 선호도를 학습하기 위해 전체 원자 구조를 기반으로 훈련한다.
• 기하학적으로 유도된 손실 함수를 $χ$ 각도의 $σν(χ)$ 와 $ χ$ 에 적용하여 일반화 및 대칭성 처리를 향상시킨다.
• 허브릭스 인코딩 계산을 병렬화하여 추론 최적화를 수행하며, 현재 이 과정이 추론 시간의 88%를 차지하고 있다.

Figure 1: Overview of H-Packer. A: Illustration of Glutamine’s $\chi$ angles, of which there are three. B: Schematic shows the H-CNN style network for side-chain packing by first predicting the missing residue’s $\chi$ angles from its surrounding atomic environment, and then using the $\chi$ angles

실험 결과

연구 질문

• RQ1 회전 등변성 네트워크를 사용하여 $χ$ 이황각을 직접 회귀하는 것이 로타머 라이브러리 기반 또는 좌표 예측 방법보다 측쇄 패킹 성능에서 뛰어나게 되는가?
• RQ2 직접 각도 회귀와 비교하여 $χ$ 각도의 사인-코시너스 매개변수화 방식은 손실 곡면의 매끄러움과 예측 정확도 측면에서 어떻게 다른가?
• RQ3 허브릭스 컨볼루션을 사용한 경량적이고 두 단계 아키텍처가 최소한의 파라미터와 학습 비용으로도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 H-Packer의 성능는 물리기반 방법(RosettaPacker 등)과 최신 딥러닝 모델(AttnPacker, DiffPack 등)과 비교해 정확도와 속도 측면에서 어떻게 나타나는가?
• RQ5 모델의 예측은 효율적으로 병렬화될 수 있으며, 보정 반복 횟수의 변화가 속도-정확도 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• H-Packer는 CASP14 타겟에서 평균 $χ_1$ 각도 예측 오차가 15.8°를 기록하여 RosettaPacker(21.5°)와 SCWRL4(20.1°)를 능가하고 AttnPacker(14.2°)에 가까운 성능을 보였다.
• H-Packer는 전체 원자 재구성에서 RosettaPacker보다 7배, DLPacker보다 6배 더 빠르며, 추론 시간의 88%가 허브릭스 인코딩 계산으로 인해 지배된다.
• H-Packer는 총 6M 파라미터(각 단계당 3M)를 사용하여 AttnPacker(208M)보다 100배 가볍고, 단일 GPU에서 1에포크당 1시간 이내에 훈련이 가능하다.
• 사인-코시너스 매개변수화 방식은 대칭성 관련 구조적 모호성으로 인한 오차를 줄여 더 안정적이고 기하학적으로 일관된 손실 함수를 제공한다.
• 보정 반복 횟수를 줄일 경우 성능는 약간 저하되지만, 반복 수를 5에서 2로 줄였을 때 정확도 손실은 최소화되고 속도는 50% 향상된다.
• H-Packer는 다른 방법들과 상호보완적인 성능를 보이며, 이는 존재하는 모델들이 포착하지 못한 고유한 구조적 특징을 학습하고 있음을 시사한다.

Figure 2: Test MAE for the simple task of predicting $\chi$ angles from atomic conformation. Panels show reconstruction accuracies using three loss functions: the angle $\chi$ itself (left), the sin/cos transform of the angle (center), and the normal vectors to the dihedral planes (right), for diffe