[論文レビュー] A Text-guided Protein Design Framework

Shengchao Liu, Li, Yanjing+11 more|arXiv (Cornell University)|Feb 9, 2023

Machine Learning in Bioinformatics被引用数 23

ひとこと要約

ProteinDT はテキストとタンパク質配列を整合させ、テキスト指向のタンパク質生成、ゼロショット編集、特性予測を可能にするマルチモーダルフレームワークで、訓練には SwissProtCLAP を使用します。テキストからのタンパク質生成で90%を超える検索精度を達成し、複数のゼロショット編集タスクで最良ヒット率を達成します。

ABSTRACT

Current AI-assisted protein design mainly utilizes protein sequential and structural information. Meanwhile, there exists tremendous knowledge curated by humans in the text format describing proteins' high-level functionalities. Yet, whether the incorporation of such text data can help protein design tasks has not been explored. To bridge this gap, we propose ProteinDT, a multi-modal framework that leverages textual descriptions for protein design. ProteinDT consists of three subsequent steps: ProteinCLAP which aligns the representation of two modalities, a facilitator that generates the protein representation from the text modality, and a decoder that creates the protein sequences from the representation. To train ProteinDT, we construct a large dataset, SwissProtCLAP, with 441K text and protein pairs. We quantitatively verify the effectiveness of ProteinDT on three challenging tasks: (1) over 90% accuracy for text-guided protein generation; (2) best hit ratio on 12 zero-shot text-guided protein editing tasks; (3) superior performance on four out of six protein property prediction benchmarks.

研究の動機と目的

• テキスト記述とタンパク質配列を結び付け、配列/構造だけを超える設計タスクを可能にする。
• テキストとタンパク質表現を結合した共同表現を学習し、ゼロショットのテキスト指向生成と編集を支援する。
• テキスト由来の表現を条件とした堅牢なデコーダーベースの生成パスウェイを開発する。
• テキスト-to-タンパク質生成、ゼロショット編集、タンパク質特性予測でフレームワークを評価する。
• ベースラインに対する利点を定量化し、データセットと評価の制限を分析する。

提案手法

• 対モーダル表現を訓練するために、SwissProtCLAP を 441K のテキスト–タンパク質ペアで構築する。
• 対照学習（EBM-NCE/InfoNCE）を用いて、テキスト表現とタンパク質配列表現を整合させるために ProteinCLAP を訓練する。
• デコード前にテキストプロンプトをタンパク質表現へ写像する ProteinFacilitator を導入する。
• 条件付きでタンパク質配列を生成するために、自己回帰型 Transformer の1つと2つの拡散モデルという3つのデコーダを用いる。
• 頑健性のために、テキストからタンパク質生成とゼロショットテキスト指向編集の2つの下流タスクと、タンパク質特性予測を用いる。

実験結果

リサーチクエスチョン

• RQ1 テキスト記述をタンパク質配列と効果的に整合させて設計タスクを導くことができるか。
• RQ2 テキスト条件付きエンコーダ-デコーダパイプラインは、生成・編集・特性予測の点でベースラインと比較してどう機能するか。
• RQ3 ProteinFacilitator コンポーネントがテキストからタンパク質生成の精度に与える影響はどれくらいか。
• RQ4 この設定で拡散ベースのデコーダは自己回帰モデルと比べてどれほどうまく機能するか。
• RQ5 テキスト指向のタンパク質設計の制限と評価上の課題は何か。

主な発見

• ProteinDT はテキストからタンパク質生成の高い検索精度を達成します（報告された設定で 90% を超える）。
• ProteinDT は 10 のゼロショットテキスト指向タンパク質編集タスクで最高のヒット比を達成します。
• ProteinFacilitator を用いた AR-Transformer は、生成タスクで一般に拡散モデルより優れています。
• ProteinCLAP ベースの表現は、6 件のタンパク質特性予測ベンチマークのうち4つで優れた性能を発揮します。
• 定性的結果は、構造、安定性、ペプチド結合に影響を与える妥当なテキスト駆動の編集を示します。