[논문 리뷰] Universal Transforming Geometric Network

Jin Li|arXiv (Cornell University)|2019. 08. 02.

Protein Structure and Dynamics참고 문헌 19인용 수 7

한 줄 요약

이 논문은 Recurrent Geometric Network(RGN)의 순환 신경망(RNN) 구성 요소를 유니버설 트랜스포머 아키텍처의 인코더로 대체하는 엔드 투 엔드 미분 가능한 단백질 구조 예측 모델인 유니버설 트랜스포머 기반 기하 네트워크(UTGN)를 제안한다. UTGN은 자기주의(self-attention) 메커니즘을 통해 향상된 전역적 종속성 학습과 안정적인 훈련을 가능하게 하여 더 빠른 수렴 속도, 향상된 안정성, 더 나은 성능을 달성한다. CASP12에서 자유 모델링(FM) 시 1.7 Å, 템플릿 기반 모델링(TBM) 시 0.7 Å의 RMSD 향상이 이루어졌다.

ABSTRACT

The recurrent geometric network (RGN), the first end-to-end differentiable neural architecture for protein structure prediction, is a competitive alternative to existing models. However, the RGN's use of recurrent neural networks (RNNs) as internal representations results in long training time and unstable gradients. And because of its sequential nature, it is less effective at learning global dependencies among amino acids than existing transformer architectures. We propose the Universal Transforming Geometric Network (UTGN), an end-to-end differentiable model that uses the encoder portion of the Universal Transformer architecture as an alternative for internal representations. Our experiments show that compared to RGN, UTGN achieve a $1.7$ \si{\angstrom} improvement on the free modeling portion and a $0.7$ \si{\angstrom} improvement on the template based modeling of the CASP12 competition.

연구 동기 및 목표

• RGN와 같은 RNN 기반 단백질 구조 예측 모델의 불안정성과 장시간 훈련 문제를 해결하기 위해.
• RNN가 기울기 소실 및 순차적 처리로 인해 어려움을 겪는 아미노산 간 장거리 종속성 학습을 향상시키기 위해.
• 더 안정적이고 더 빠르게 수렴하며 엔드 투 엔드로 미분 가능한 단백질 구조 예측 아키텍처를 개발하기 위해.
• 트랜스포머 기반 내부 표현이 단백질 접힘에 대한 기하 딥 러닝에서 RNN을 능가할 수 있음을 입증하기 위해.

제안 방법

• 모델은 다중 서열 정렬(MSA)에서 유도된 정규화된 위치 특화 스코링 매트릭스(PSSM)를 포함한 20차원 one-hot 인코딩을 사용하여 아미노산을 표현한다.
• 시그모이드 함수를 사용하여 위치 인코딩을 입력 표현에 추가하며, 이는 Vaswani 등(2017)에서 제안된 방식과 동일하다. 이를 통해 순서적 위치 정보를 제공한다.
• 내부 표현 기반으로 유니버설 트랜스포머(UT) 인코더를 사용하며, 다중 헤드 자기주의와 전이 함수를 통해 여러 시간 단계에 걸쳐 표현을 반복적으로 개선한다.
• 각 시간 단계에서 UT는 모든 위치 간에 스케일된 도트 곱 자기주의를 적용하여 전역적 맥락 인식을 가능하게 하며, 그 다음에 피드포워드 또는 분리 가능 컨볼루션 전이 함수를 적용한다.
• 최종 내부 표현은 각 잔기당 세 개의 토크닝 각도(phi, psi, omega)를 예측하는 데 사용되며, 이를 통해 단백질 구조의 3차원 Descartes 좌표를 재구성한다.
• 예측된 구조와 진짜 3차원 구조 간의 거리를 최소화하는 미분 가능한 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 RGN의 RNN 구성 요소를 유니버설 트랜스포머 인코더로 대체하면 단백질 구조 예측 성능이 향상되는가?
• RQ2 유니버설 트랜스포머의 자기주의 메커니즘이 RNN보다 아미노산 간 장거리 종속성을 더 잘 학습할 수 있는가?
• RQ3 UTGN은 RNN 기반의 기울기 폭주 문제와 느린 훈련으로 고통받는 RGN보다 더 빠른 수렴과 더 높은 훈련 안정성을 달성할 수 있는가?
• RQ4 UTGN은 CASP12 벤치마크에서 자유 모델링과 템플릿 기반 모델링 모두에서 RGN에 비해 성능이 뛰어나게 되는가?

주요 결과

• UTGN은 CASP12의 자유 모델링(FM) 범주에서 RGN 대비 RMSD가 1.7 Å 향상되었고, TM-스코어가 0.013 증가했다.
• 템플릿 기반 모델링(TBM) 범주에서는 RMSD가 0.7 Å 감소했고, TM-스코어가 RGN 대비 0.008 향상되었다.
• UTGN은 RGN 대비 약 두 배 빠른 수렴 속도를 보였으며, RGN가 기울기 폭주 문제로 인해 불안정한 경향이 있었던 것과는 달리 기울기 폭주 현상이 전혀 발생하지 않았다.
• UTGN은 단지 200만 개의 파라미터로 충분했고, 며칠 내로 훈련이 끝났지만, RGN는 상태 최고 성능에 도달하기 위해 수개월이 걸리고 파라미터 수가 10배 이상 많았다.
• 다양한 가중치 초기화 방법에 대해 UTGN 성능에 미치는 영향은 미미했지만, RGN는 초기화 방법에 따라 성능 결과가 크게 달라져 UTGN의 훨씬 뛰어난 훈련 안정성을 보여주었다.
• UTGN의 다양한 변종 중에서 분리 가능 컨볼루션 기반 전이 함수가 피드포워드 변종보다 성능이 뛰어나며, FM 및 TBM 벤치마크에서 모두 최고 성능을 기록했다.