[논문 리뷰] The Protein Engineering Tournament: An Open Science Benchmark for Protein Modeling and Design

Chase Armer, Hassan Kané외 8명|arXiv (Cornell University)|2023. 09. 18.

Transgenic Plants and ApplicationsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

단백질 공학 대회는 이중성, 개방과학 경쟁으로, 두 차례의 라운드를 통해 계산적 단백질 설계를 평가한다: 시뮬레이션에서 단백질 성질 예측 및 클라우드 랩을 이용한 설계된 서열의 실험적 검증. 이 대회에서는 개방형 데이터셋, 표준화된 자동화된 프로토콜, 투명한 플랫폼을 제공하여 계산적 단백질 공학 분야의 진전을 가속화한다.

ABSTRACT

The grand challenge of protein engineering is the development of computational models that can characterize and generate protein sequences for any arbitrary function. However, progress today is limited by lack of 1) benchmarks with which to compare computational techniques, 2) large datasets of protein function, and 3) democratized access to experimental protein characterization. Here, we introduce the Protein Engineering Tournament, a fully-remote, biennial competition for the development and benchmarking of computational methods in protein engineering. The tournament consists of two rounds: a first in silico round, where participants use computational models to predict biophysical properties for a set of protein sequences, and a second in vitro round, where participants are challenged to design new protein sequences, which are experimentally measured with open-source, automated methods to determine a winner. At the Tournament's conclusion, the experimental protocols and all collected data will be open-sourced for continued benchmarking and advancement of computational models. We hope the Protein Engineering Tournament will provide a transparent platform with which to evaluate progress in this field and mobilize the scientific community to conquer the grand challenge of computational protein engineering.

연구 동기 및 목표

• 계산적 단백질 공학 모델 평가를 위한 표준화된 벤치마크 부족 문제를 해결한다.
• 기존 데이터셋의 한계를 극복한다. 이는 종종 단순하거나 재현 불가능하거나 접근 불가능한 경우가 많다.
• 클라우드 랩을 활용해 고속, 재현 가능한 분석을 통해 실험적 단백질 특성 분석에 대한 접근성을 민주화한다.
• 경쟁과 협업을 통해 단백질 공학 분야의 혁신을 가속화하는 공동체 기반 플랫폼을 구축한다.
• 모든 실험 프로토콜, 데이터셋, 결과를 공개하여 투명성과 재현 가능성을 증진한다. 이는 대회 후에도 지속 가능하게 유지된다.

제안 방법

• 이중성, 완전히 원격으로 진행되는 대회를 조직하며, 두 단계의 순차적 라운드를 실시한다: 시뮬레이션 및 실험실 라운드.
• 시뮬레이션 라운드에서 계산 모델을 활용해 단백질 서열의 물리화학적 성질을 예측하며, 이벤트 별로 선택적 훈련 데이터를 제공한다.
• 클라우드 랩을 활용해 설계된 단백질 서열의 고속, 자동화, 재현 가능한 실험적 특성 분석을 수행한다.
• 원하는 단백질 성질에 기반한 이벤트 전용 가중치 기반 평가 지표를 사용해 실험실 성능을 평가한다.
• 대회 후 모든 실험 프로토콜, 데이터셋, 결과를 오픈소스로 공개하여 지속 가능한 벤치마크 및 모델 검증을 가능하게 한다.
• Align to Innovate가 주도하는 자율 팀을 통해 공동체의 의견을 통합하며, 목표 선정, 데이터 과학, 홍보, 분석법 개발을 담당한다.

Figure 1: Overview of the Tournament. (A) The tournament impacts the space by providing a transparent benchmark for computational methods, open datasets for the research community, and automated protocols for continued independent benchmarking. (B) The Tournament is designed to accelerate creation o

실험 결과

연구 질문

• RQ1 표준화된 공동체 기반의 벤치마크가 계산적 단백질 공학 모델의 평가 및 개발을 향상시킬 수 있는가?
• RQ2 다양한 실제 문제 도전 과제에서 다양한 계산 방법이 단백질 물리화학적 성질을 예측하는 데 얼마나 효과적인가?
• RQ3 클라우드 기반 자동화는 단백질 설계의 스케일업, 재현 가능성, 접근성 향상에 얼마나 기여할 수 있는가?
• RQ4 실험 프로토콜과 데이터셋을 오픈소스로 공개하면, 대회 종료 후에도 장기적인 모델 벤치마크가 유지될 수 있는가?
• RQ5 대회 형식은 학계, 산업계, 독립 연구자 등 다양한 참가자를 동원해 고영향력 단백질 공학 과제를 해결하도록 유도할 수 있는가?

주요 결과

• 2023년 5월에 시작된 시범 대회는 효소 설계에 중점을 두고, 학계, 산업계, 독립 연구자에서 온 30개 이상의 팀이 참가하여 고등학생에서 노벨상 수상자 수준의 참가자가 포함되었다.
• 시뮬레이션 라운드는 실제 실험 데이터와의 비교를 통해 다양한 모델링 접근 방식 간의 성능 평가를 성공적으로 수행했다.
• 실험실 실험은 시범 대회 기간 동안 기업 파트너의 인프라를 활용해 내부에서 수행되었으며, 고속 단백질 특성 분석의 실현 가능성을 입증했다.
• 향후 대회를 위한 클라우드 랩 분석법 개발이 진행 중이며, 표준화되고 자동화된 실험 워크플로우로의 확장 가능성을 시사한다.
• 대회 기간 동안 생성된 모든 실험 프로토콜과 데이터셋은 오픈소스로 공개되어, 과학 공동체가 지속적으로 벤치마크 및 모델 검증을 수행할 수 있게 되었다.
• 대회 프레임워크는 계산 모델링과 실험적 검증을 성공적으로 통합하여, 단백질 공학을 위한 역동적이고 진화하는 벤치마크를 창출했다.

Figure 2: Overview of Tournament Rounds. The tournament consists of two rounds. (A) In the in silico round participants will predict properties of given protein sequences, with optional training data provided for specific events. Performance is evaluated by comparing the participant’s predictions wi