[논문 리뷰] ECRECer: Enzyme Commission Number Recommendation and Benchmarking based on Multiagent Dual-core Learning

Zhenkun Shi, Qianqian Yuan외 4명|arXiv (Cornell University)|2022. 02. 08.

Machine Learning in Bioinformatics인용 수 5

한 줄 요약

ECRECer는 단백질 언어 모델을 활용하여 시퀀스 임베딩과 극단적 다중라벨 분류를 통합한 다중에이전트 이중코어 딥러닝 프레임워크를 제안한다. 이는 효소 분류번호(EC 번호) 예측에 최신 기술 수준의 성능을 달성한다. 이전 방법 대비 정확도는 70% 향상되고 F1 스코어는 20% 향상되었으며, 고성능의 온라인 웹서버와 오프라인 패키지를 제공하여 고속 스트리밍 환경에서도 활용 가능하다.

ABSTRACT

Enzyme Commission (EC) numbers, which associate a protein sequence with the biochemical reactions it catalyzes, are essential for the accurate understanding of enzyme functions and cellular metabolism. Many ab-initio computational approaches were proposed to predict EC numbers for given input sequences directly. However, the prediction performance (accuracy, recall, precision), usability, and efficiency of existing methods still have much room to be improved. Here, we report ECRECer, a cloud platform for accurately predicting EC numbers based on novel deep learning techniques. To build ECRECer, we evaluate different protein representation methods and adopt a protein language model for protein sequence embedding. After embedding, we propose a multi-agent hierarchy deep learning-based framework to learn the proposed tasks in a multi-task manner. Specifically, we used an extreme multi-label classifier to perform the EC prediction and employed a greedy strategy to integrate and fine-tune the final model. Comparative analyses against four representative methods demonstrate that ECRECer delivers the highest performance, which improves accuracy and F1 score by 70% and 20% over the state-of-the-the-art, respectively. With ECRECer, we can annotate numerous enzymes in the Swiss-Prot database with incomplete EC numbers to their full fourth level. Take UniPort protein "A0A0U5GJ41" as an example (1.14.-.-), ECRECer annotated it with "1.14.11.38", which supported by further protein structure analysis based on AlphaFold2. Finally, we established a webserver (https://ecrecer.biodesign.ac.cn) and provided an offline bundle to improve usability.

연구 동기 및 목표

• 단백질 시퀀스의 수동 코딩으로 인한 효소 기능 주석화의 핵심적 제약 요인 해결.
• 기존 EC 번호 예측 도구의 한계, 즉 낮은 정확도, 낮은 재현율, 비전문가용 사용성 부족 문제 해결.
• 최신 단백질 표현 기반 기술과 확장 가능한 다중라벨 분류 기법을 통합한 통합형 고성능 프레임워크 개발.
• 공개된 데이터셋, 코드, 도구를 포함한 벤치마킹 준비 완료 플랫폼 제공을 통해 효소 주석화 분야의 재현 가능 연구 가속화.
• 특히 *Corynebacterium glutamicum*와 같이 주석화가 부족한 생물에서의 미등재 단백질에 대해 고속, 정확한 EC 번호 예측 지원.

제안 방법

• 단백질 시퀀스의 문맥 기반 표현을 생성하기 위해 단백질 언어 모델(ESM)을 임베딩 코어로 활용하여 수동적 특징 공학을 대체.
• 임베딩 코어와 학습 코어로 구성된 다중에이전트 이중코어 아키텍처를 구현하여 효소/비효소 분류, 다기능 효소 기능 수 예측, 전체 EC 번호 예측의 세 가지 별도 작업을 동시에 처리.
• 최대 5,000개 이상의 EC 번호를 동시에 예측하기 위해 극단적 다중라벨 분류 헤드를 사용하며, 성능 향상을 위해 탐욕적 레이블 통합 및 미세조정 전략을 적용.
• 다양한 단백질 표현 방법(원-핫, Unirep, ESM)을 평가하고 체계적 아블레이션을 통해 최고 성능을 보인 임베딩 전략을 선별.
• 코딩 경험이 없는 연구자들도 쉽게 사용할 수 있도록 웹서버와 독립형 오프라인 번들 모두를 설계.
• 스위스-프로트(Swiss-Prot)에서 유래한 표준화된 벤치마크 데이터셋 3종을 구축하여 470,000개 이상의 레이블이 부여된 단백질 시퀀스를 확보해 공정하고 재현 가능한 평가를 가능하게 함.

실험 결과

연구 질문

• RQ1 기존의 특징 공학 기반 접근 방식에 비해 단백질 언어 모델 기반 임베딩 접근이 EC 번호 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 통합 다중작업 학습 기반의 다중에이전트 이중코어 학습 프레임워크는 극단적 다중라벨 EC 번호 예측 성능을 어떻게 향상시키는가?
• RQ3 실제로 다양한 단백질 데이터셋을 대상으로 실제 성능 평가에서 ECRECer는 기존 최신 기술 수준(SOTA) 방법에 비해 정확도, F1 스코어, 재현율 측면에서 어느 정도 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 프레임워크는 *Corynebacterium glutamicum*와 같은 주석화가 부족한 생물에서 이전에 주석이 없었던 단백질을 효과적으로 주석화할 수 있는가?
• RQ5 웹서버와 오프라인 패키지의 통합은 비전문가 생물학 연구자들 사이에서의 사용성 향상과 도입률 증가에 기여하는가?

주요 결과

• ECRECer는 최신 기술 수준 방법 대비 정확도 70% 향상, F1 스코어 20% 향상으로 뛰어난 예측 성능 입증.
• 모델은 UniProt 단백질 A0A0U5GJ41에 대해 EC 번호 1.14.11.38를 성공적으로 주석화하였으며, 이는 AlphaFold2 기반의 구조 분석을 통해 검증됨.
• *Corynebacterium glutamicum*에서의 고속 스트리밍 테스트에서 ECRECer는 2,768개의 미주석 단백질 중 1,056개에 EC 번호를 할당하였고, 이는 DeepEC의 157개에 비해 훨씬 뛰어난 성능이다.
• 통제된 벤치마크에서 정밀도-재현율 균형이 기존 방법을 초월하며, EC 번호 예측의 정확도와 재현율 모두 90% 이상 달성.
• 웹서버(https://ecrecer.biodesign.ac.cn)와 오프라인 번들은 개인 및 대규모 단백질 세트에 대한 원활하고 확장 가능한 예측을 가능하게 함.
• 모든 학습 데이터, 모델, 코드, 평가 스크립트가 공개되어 있어 완전한 재현성과 커뮤니티 기반 확장 지원 가능.