[論文レビュー] The Protein Engineering Tournament: An Open Science Benchmark for Protein Modeling and Design

Chase Armer, Hassan Kané+8 more|arXiv (Cornell University)|Sep 18, 2023

Transgenic Plants and ApplicationsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

Protein Engineering Tournamentは、2年ごとに開催されるオープンサイエンスのコンペティションであり、2ラウンド（in silicoでのタンパク質性質の予測と、クラウドラボを用いたin vitroでの実験的検証）を通じて計算タンパク質設計をベンチマーク化する。オープンデータセット、標準化された自動プロトコル、透明性の高いプラットフォームを提供し、計算タンパク質工学分野の進展を加速する。

ABSTRACT

The grand challenge of protein engineering is the development of computational models that can characterize and generate protein sequences for any arbitrary function. However, progress today is limited by lack of 1) benchmarks with which to compare computational techniques, 2) large datasets of protein function, and 3) democratized access to experimental protein characterization. Here, we introduce the Protein Engineering Tournament, a fully-remote, biennial competition for the development and benchmarking of computational methods in protein engineering. The tournament consists of two rounds: a first in silico round, where participants use computational models to predict biophysical properties for a set of protein sequences, and a second in vitro round, where participants are challenged to design new protein sequences, which are experimentally measured with open-source, automated methods to determine a winner. At the Tournament's conclusion, the experimental protocols and all collected data will be open-sourced for continued benchmarking and advancement of computational models. We hope the Protein Engineering Tournament will provide a transparent platform with which to evaluate progress in this field and mobilize the scientific community to conquer the grand challenge of computational protein engineering.

研究の動機と目的

• 計算タンパク質工学モデルの評価に向けた標準化されたベンチマークの不足を解消すること。
• 既存のデータセットに見られる単純さ、再現不能性、アクセスの難しさといった制限を克服すること。
• ハイパフォーマンスで再現可能なアッセイを可能にするクラウドラボを活用して、実験的タンパク質特性評価へのアクセスを民主化すること。
• コンペティションと協働を通じてタンパク質工学分野のイノベーションを加速する、コミュニティ主導のプラットフォームを構築すること。
• すべての実験プロトコル、データセット、結果を公開することで、透明性と再現性を促進し、大会終了後も継続的なベンチマークとモデル検証を可能にすること。

提案手法

• 2年ごとに開催される完全にリモート形式のコンペティションを実施し、2段階のラウンド（in silicoおよびin vitro）を実施する。
• in silicoラウンドでは、計算モデルを用いてタンパク質配列のバイオフィジカル的性質を予測する。各大会に応じて、オプションのトレーニングデータを提供する。
• クラウドラボを活用して、設計されたタンパク質配列の高スルーレットで自動的かつ再現性のあるin vitro特性評価を実施する。
• 希望するタンパク質性質に基づいて、大会固有の重み付き指標を用いてin vitroのパフォーマンスを評価する。
• 大会終了後にすべての実験プロトコル、データセット、結果をオープンソース化し、継続的なベンチマークとモデル検証を可能にする。
• Align to Innovateが調整を担当し、ボランティア主導のチームがターゲット選定、データサイエンス、アウトリーチ、アッセイ開発の分野で参加する。

Figure 1: Overview of the Tournament. (A) The tournament impacts the space by providing a transparent benchmark for computational methods, open datasets for the research community, and automated protocols for continued independent benchmarking. (B) The Tournament is designed to accelerate creation o

実験結果

リサーチクエスチョン

• RQ1 標準化された、コミュニティ主導のベンチマークは、計算タンパク質工学モデルの評価と開発を改善できるか？
• RQ2 多様で現実世界の課題に直面する状況下で、異なる計算手法はタンパク質のバイオフィジカル的性質をどの程度正確に予測できるか？
• RQ3 クラウドベースの自動化は、スケーラブルで再現可能かつアクセス可能なタンパク質設計の実験的検証をどの程度可能にするか？
• RQ4 実験プロトコルとデータセットをオープンソース化することで、大会終了後も長期にわたるモデルベンチマークが維持可能か？
• RQ5 大会形式は、学術界、産業界、および独立系研究者を含む多様な参加者を、高インパactsなタンパク質工学の課題解決に向けて動員できるか？

主な発見

• 2023年5月に、酵素設計をテーマにしたパイロット大会が開始され、学術界、産業界、および独立系研究者から30以上のチームが参加し、高校生からノーベル賞受賞者まで多様な参加者が関与した。
• in silicoラウンドでは、実験的真値データと照らし合わせて計算予測のパフォーマンスを評価し、多様なモデリング手法間の比較が可能になった。
• in vitro実験はパイロット段階で企業パートナーのインfraを活用して自社施設で実施され、高スルーレットなタンパク質特性評価の実現可能性が裏付けられた。
• 今後の大規模な大会に向けたクラウドラボアッセイの開発が進行中であり、標準化され、自動化された実験ワークフローへのスケーラブルな道筋が示された。
• 大会中に生成されたすべての実験プロトコルとデータセットはオープンソース化され、広範な科学コミュニティによる継続的なベンチマークとモデル検証が可能になる。
• 大会のフレームワークは、計算モデリングと実験的検証を効果的に統合し、タンパク質工学分野における動的で進化し続けるベンチマークを実現した。

Figure 2: Overview of Tournament Rounds. The tournament consists of two rounds. (A) In the in silico round participants will predict properties of given protein sequences, with optional training data provided for specific events. Performance is evaluated by comparing the participant’s predictions wi