[論文レビュー] Knowledge-Design: Pushing the Limit of Protein Design via Knowledge Refinement

Zhangyang Gao, Cheng Tan+1 more|arXiv (Cornell University)|May 20, 2023

Machine Learning in Bioinformatics被引用数 6

ひとこと要約

Knowledge-Design は、事前学習モデル（ESM、ESM-IF、GearNet）からのマルチモodalな知識を活用して、予測信頼度が低いアミノ酸を反復的に是正する信頼度に配慮した精錬フレームワークを導入する。ゲート付きアテンション統合とメモリーリトリーブ機構を統合することで、CATH4.2 で 60.77% の回復率を達成し、PiFold よりも 9.11% 高く、CATH、TS50、TS500 のすべてのベンチマークで 60% を超える最初の手法となった。

ABSTRACT

Recent studies have shown competitive performance in protein design that aims to find the amino acid sequence folding into the desired structure. However, most of them disregard the importance of predictive confidence, fail to cover the vast protein space, and do not incorporate common protein knowledge. After witnessing the great success of pretrained models on diverse protein-related tasks and the fact that recovery is highly correlated with confidence, we wonder whether this knowledge can push the limits of protein design further. As a solution, we propose a knowledge-aware module that refines low-quality residues. We also introduce a memory-retrieval mechanism to save more than 50\% of the training time. We extensively evaluate our proposed method on the CATH, TS50, and TS500 datasets and our results show that our Knowledge-Design method outperforms the previous PiFold method by approximately 9\% on the CATH dataset. Specifically, Knowledge-Design is the first method that achieves 60+\% recovery on CATH, TS50 and TS500 benchmarks. We also provide additional analysis to demonstrate the effectiveness of our proposed method. The code will be publicly available.

研究の動機と目的

• 既存のタンパク質設計モデルが予測信頼度の取り扱いや一般的なタンパク質知識の統合に欠けているという限界を解決すること。
• 事前学習モデルからの知識蒸留によって局所最適解から脱出することで、反復的精錬における性能飽和を克服すること。
• ESM、ESM-IF、GearNet からの構造的および配列的知識を統合することで、設計されたタンパク質配列の汎化性と構造的正確性を向上させること。
• 中間モジュール出力をキャッシュするメモリーリトリーブ機構を導入することで、大規模タンパク質設計における学習時間を短縮すること。
• 信頼度に配慮した精錬とマルチモーダルな知識統合を組み合わせることで、CATH、TS50、TS500 などの複数のベンチマークで最先端の性能を達成すること。

提案手法

• 予測されたアミノ酸の最大確率を用いて、低信頼度のアミノ酸を特定する信頼度に配慮したモジュールを提案する。
• 予測信頼度に基づいて、構造的（GearNet）、配列的（ESM）、履歴予測埋め込みを適応的に統合するゲート付きアテンション統合機構を実装する。
• 精錬性能とモデル収束性を向上させるために、仮想MSAとリサイクル技術を導入する。
• 中間モジュール出力をキャッシュするメモリーリトリーブ機構を設計し、高速な推論と50%以上の学習時間短縮を実現する。
• マルチステージの精錬パイプラインを用いて、マルチモーダルな知識と信頼度スコアに基づいて反復的にアミノ酸予測を改善するようにKnowledge-Designを訓練する。
• ESM と ESM-IF を教師モデルとして用いて、学習プロセス中に帰納的バイアスを注入し、局所最適解から脱出する。

実験結果

リサーチクエスチョン

• RQ1 予測信頼度を効果的に活用して、タンパク質配列設計における低品質なアミノ酸を特定・精錬できるか？
• RQ2 事前学習モデル（ESM、ESM-IF、GearNet）からのマルチモーダルな知識を統合することで、タンパク質設計の正確性と一般化性能がどのように向上するか？
• RQ3 ESM と ESM-IF などの複数の事前学習モデルを組み合わせた場合、個別のモデルと比較して回復性能にどのような影響を与えるか？
• RQ4 メモリーリトリーブ機構は、大規模タンパク質設計においてモデル性能を損なわずに学習時間を顕著に短縮できるか？
• RQ5 PiFold や他のベースラインモデルと比較して、Knowledge-Design は参照タンパク質との構造的類似性をどの程度向上させるか？

主な発見

• Knowledge-Design は CATH4.2 ベンチマークで 60.77% の回復率を達成し、CATH、TS50、TS500 のすべてで 60% を超える最初の手法となった。
• CATH4.2 データセットにおいて、PiFold よりも 9.11% の回復率向上を達成し、ESM と ESM-IF 知識を組み合わせた場合に最高の性能を発揮した。
• ESM と ESM-IF 知識の組み合わせにより 9.11% の向上が得られ、個別の貢献度（5.72% + 2.86%）の合計を上回っていることから、相乗効果が確認された。
• 正解アミノ酸の信頼度が向上し、低信頼度予測が減少しており、正解アミノ酸の信頼度分布が 1.0 側にシフトしていることが示された。
• ESMFold を用いた構造的比較では、Knowledge-Design は 1a73、1a81、1ac1 に対してそれぞれ 15.9%、35.3%、60% のRMSD低減をPiFoldと比較して達成した。
• メモリーリトリーブ機構により、中間モジュールの出力をキャッシュすることで、冗長な順方向伝搬を回避し、学習時間を 50% 以上短縮した。