[論文レビュー] Data-Efficient Protein 3D Geometric Pretraining via Refinement of Diffused Protein Structure Decoy

Yufei Huang, Lirong Wu+4 more|arXiv (Cornell University)|Feb 5, 2023

Protein Structure and Dynamics被引用数 5

ひとこと要約

本論文は、回転および平行移動に不変なトランスフォーマーを用いて、散乱させたタンパク質構造デコイを精錬するデータ効率的で3次元幾何学的プロムプトタスクであるRefineDiffを提案する。最先端モデルが使用するデータの1%未塔のデータで訓練しても、GO-CCでSOTAを達成し、ECおよびGO-BPでもほぼSOTAの性能を示しており、3次元幾何学的事前学習の有効性を示している。

ABSTRACT

Learning meaningful protein representation is important for a variety of biological downstream tasks such as structure-based drug design. Having witnessed the success of protein sequence pretraining, pretraining for structural data which is more informative has become a promising research topic. However, there are three major challenges facing protein structure pretraining: insufficient sample diversity, physically unrealistic modeling, and the lack of protein-specific pretext tasks. To try to address these challenges, we present the 3D Geometric Pretraining. In this paper, we propose a unified framework for protein pretraining and a 3D geometric-based, data-efficient, and protein-specific pretext task: RefineDiff (Refine the Diffused Protein Structure Decoy). After pretraining our geometric-aware model with this task on limited data(less than 1% of SOTA models), we obtained informative protein representations that can achieve comparable performance for various downstream tasks.

研究の動機と目的

• 2次元タンパク質構造事前学習の限界、すなわちデータの均一性、物理的に現実的でないモデル化、および制限されたプロムプトタスクの問題を解決すること。
• 構造生物学の知見を活用した、3次元幾何学的でデータ効率的かつタンパク質特化型のプロムプトタスクを、事前学習用に開発すること。
• 限られたデータで3次元幾何学的プロムプトタスクを用いた事前学習が、はるかに大きなデータセットで学習した表現と同等の性能を達成できることを示すこと。
• 3次元幾何学的事前学習の可能性を強調する統一的なフレームワークを確立すること。

提案手法

• モデルが散乱させたタンパク質構造デコイをより正確なコンformationに精錬するよう学習する、新しいプロムプトタスクであるRefineDiffを提案する。
• タンパク質構造をデコイに変換する前方拡散プロセスを用い、モデルがより広いエネルギー分布から学習できるようにする。
• 回転および平行移動に不変なトランスフォーマー構造（AlphaFoldにインspired）を採用し、モデル内の幾何学的認識を保証する。
• 8,000個のタンパク質ターゲット（DADB）という小規模なデータセットでモデルを事前学習し、最先端モデルが使用するデータの1%未塔に相当する。
• 元の精錬済み構造を、汚染された（散乱させた）バージョンから予測する、ノイズ除去の目的関数を用いる。
• 三角形アテンションや幾何的制約といったインダクティブバイアスを統合し、物理的妥当性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元幾何学的プロムプトタスクは、2次元幾何学的または配列ベースの手法よりも、タンパク質表現学習をより効果的に改善できるか？
• RQ2 3次元幾何学的プロムプトタスクを用いて、限られた多様なデータセットで事前学習をすると、はるかに大きなデータセットで学習した表現と同等の性能が得られるか？
• RQ3 下流タスクのパフォーマンスの観点から、RefineDiffはタンパク質構造精錬そのものと直接比較して、事前学習の目的関数として優れているか？
• RQ4 拡散プロセスが、構造精錬における局所最適解からの脱出をどのように最適化を向上させるか？

主な発見

• RefineDiffで事前学習したモデルは、F_maxが0.528に達し、GO-CCタスクでSOTAを達成し、はるかに大きなデータセットで学習したすべてのベースラインを上回った。
• ECおよびGO-BPタスクでは、それぞれF_maxが0.865および0.455を記録し、2位の性能を達成したが、使用したタンパク質ターゲットは8,000個（最先端モデルの1%未塔）にとどまった。
• アブレーションスタディの結果、RefineDiffで事前学習したモデルは、初期段階で精錬能力が弱くても、直接タンパク質構造精錬で事前学習するよりも優れた下流タスクのパフォーマンスを示した。
• RefineDiffで学習したモデルは初期デコイから0.12 GDT向上したが、直接PSR事前学習では0.00の向上にとどまり、拡散ベースのアプローチの優位性が示された。
• 事前学習中の早期チェックポイントを用いると、わずか0.01 GDTの向上にとどまり、RefineDiffの利点を発揮するには完全な訓練が必要であることが示された。
• すべての下流タスクで、訓練から再開するベースラインを上回ったため、限られたデータでも事前学習の価値が証明された。