[논문 리뷰] An Effective GCN-based Hierarchical Multi-label classification for Protein Function Prediction

Kyudam Choi, Yurim Lee외 2명|arXiv (Cornell University)|2021. 12. 06.

Machine Learning in Bioinformatics인용 수 7

한 줄 요약

이 논문은 단백질 기능 예측을 위한 GCN 기반 계층적 다중 레이블 분류 모델을 제안하며, 유전자 온톨로지(GO) 용어에서 전체 계층적 정보를 캡처하는 노드별 표현을 도입하여 그래프 컨volution 네트워크(GCN)를 향상시킨다. 대규모 GO 그래프 내의 장거리 상관관계를 포착하는 GCN와 사전 훈련된 언어 모델을 결합한 방법은 특히 생물학적 과정 온톨로지(BPO) 도메인에서 Fmax를 18% 향상시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We propose an effective method to improve Protein Function Prediction (PFP) utilizing hierarchical features of Gene Ontology (GO) terms. Our method consists of a language model for encoding the protein sequence and a Graph Convolutional Network (GCN) for representing GO terms. To reflect the hierarchical structure of GO to GCN, we employ node(GO term)-wise representations containing the whole hierarchical information. Our algorithm shows effectiveness in a large-scale graph by expanding the GO graph compared to previous models. Experimental results show that our method outperformed state-of-the-art PFP approaches.

연구 동기 및 목표

• 대규모 유전자 온톨로지(GO) 그래프에서 장거리 계층적 의존성을 포착하지 못하는 기존 GCN 기반 모델의 한계를 해결하기 위해.
• 노드 표현에 전체 계층적 구조 정보를 통합하여 계층적 다중 레이블 분류 성능을 향상시키기 위해.
• 사전 훈련된 언어 모델과 구조 인식 GCN를 결합하여 정확한 단백질 기능 애너테이션을 위한 확장성 있고 효과적인 방법을 개발하기 위해.
• 특히 가장 복잡하고 대규모인 GO 도메인인 생물학적 과정 온톨로지(BPO)에서 최신 기술 수준 모델을 능가하기 위해.

제안 방법

• 모델은 단백질 서열 표현을 추출하기 위해 사전 훈련된 언어 모델(예: ProtBert)을 서열 인코더로 사용한다.
• 각 GO 용어에 대해 루트에서 용어까지의 전체 계층 경로를 캡처하는 노드별 표현을 구성하여 장거리 구조적 관계를 유지한다.
• 노드가 계층 경로 정보로 강화된 확장된 GO 그래프에 그래프 컨볼루션 네트워크(GCN)를 적용하여 먼 노드 간 메시지 전달을 향상시킨다.
• 최종 예측은 서열 인코더 출력과 GCN가 학습한 GO 용어 표현 간의 내적곱을 통해 계산된다.
• 조기 정지, Adam 옵timizer, 고정된 학습률 1e-3를 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• GO 그래프는 계층 경로를 포함하도록 확장되어 GCN 레이어 내에서 구조적 정보의 보다 효과적인 전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 GO 노드 표현에 전체 계층 경로 정보를 통합하면 대규모이고 깊은 GO 그래프에서 GCN 성능이 향상되는가?
• RQ2 제안된 방법은 특히 가장 복잡한 BPO 도메인에서 최신 기술 수준 모델과 비교해 어떻게 성능을 냈는가?
• RQ3 사전 훈련된 언어 모델과 구조 인식 GCN를 조합하면 모든 GO 도메인에서 기능 예측 정확도가 얼마나 향상되는가?
• RQ4 GO DAG 내에서 장거리 의존성을 포착할 수 있는 모델의 능력이 Fmax 및 AUPR 지표에서 측정 가능한 성과 향상으로 이어지는가?

주요 결과

• 제안된 모델은 생물학적 과정 온톨로지(BPO)에서 Fmax 점수 0.470을 기록하여 이전 최신 기술 수준 모델인 TALE(0.398) 대비 18% 향상된 성과를 달성했다.
• 모든 세 개의 GO 도메인(MFO, BPO, CCO)에서 AUPR 점수 0.476, 0.368, 0.626을 기록하여 모든 베이스라인 모델을 능가했다.
• 이전 모델이 장거리 의존성 학습 능력이 제한되어 어려움을 겪던 가장 복잡하고 대규모인 계층적 구조를 가진 BPO에서 모델이 특히 효과적이었다.
• 전체 계층 경로를 캡처하는 노드별 표현 사용은 깊고 넓은 GO 그래프에서 GCN 성능 향상에 크게 기여했다.
• 모델은 모든 도메인에서 뛰어난 성능 유지를 보여 계층적 다중 레이블 분류에서 강건성과 일반화 능력을 입증했다.
• 결과는 GCN 기반 모델에 계층적 구조 정보를 통합할 경우 단백질 기능 예측에 상당한 성과 향상이 이루어지며, 특히 극도로 불균형하고 복잡한 레이블 공간에서 두드러진 성능 향상이 이뤄진다는 것을 확인한다.