[論文レビュー] Pre-training Co-evolutionary Protein Representation via A Pairwise Masked Language Model

Liang He, Shizhuo Zhang+11 more|arXiv (Cornell University)|Oct 29, 2021

Machine Learning in Bioinformatics参考文献 53被引用数 11

ひとこと要約

本論文は、事前学習中にタンパク質配列内の相互残留要因の共進化的依存関係を捉えるためのペアワイズマスクド言語モデル（PMLM）を提案する。標準のMLMとは異なり、マスクされた残基ペアの同時確率をモデル化することで、独立した予測ではなく、相互依存関係を捉える。この手法により、標準MLMよりも最大9%の相対的改善が得られ、TAPEベンチマークではMSAベースのベースラインを7%以上上回り、従来のMSA依存的手法を上回るシーケンスオンリープレトレーニングの可能性を示している。

ABSTRACT

Understanding protein sequences is vital and urgent for biology, healthcare, and medicine. Labeling approaches are expensive yet time-consuming, while the amount of unlabeled data is increasing quite faster than that of the labeled data due to low-cost, high-throughput sequencing methods. In order to extract knowledge from these unlabeled data, representation learning is of significant value for protein-related tasks and has great potential for helping us learn more about protein functions and structures. The key problem in the protein sequence representation learning is to capture the co-evolutionary information reflected by the inter-residue co-variation in the sequences. Instead of leveraging multiple sequence alignment as is usually done, we propose a novel method to capture this information directly by pre-training via a dedicated language model, i.e., Pairwise Masked Language Model (PMLM). In a conventional masked language model, the masked tokens are modeled by conditioning on the unmasked tokens only, but processed independently to each other. However, our proposed PMLM takes the dependency among masked tokens into consideration, i.e., the probability of a token pair is not equal to the product of the probability of the two tokens. By applying this model, the pre-trained encoder is able to generate a better representation for protein sequences. Our result shows that the proposed method can effectively capture the inter-residue correlations and improves the performance of contact prediction by up to 9% compared to the MLM baseline under the same setting. The proposed model also significantly outperforms the MSA baseline by more than 7% on the TAPE contact prediction benchmark when pre-trained on a subset of the sequence database which the MSA is generated from, revealing the potential of the sequence pre-training method to surpass MSA based methods in general.

研究の動機と目的

• 膨大なラベルなしデータから、計算コストの高い複数配列アラインメント（MSA）に依存せずに、効果的なタンパク質配列表現を学ぶという課題に取り組む。
• 標準のマスクド言語モデルとは異なり、マスクされた残基ペア間の依存関係をモデル化する新しい事前学習目的を用いて、シーケンスから直接相互残留共進化情報を捉える。
• 残基ペアの同時モデル化により、より豊富で文脈に配慮した表現を学習することで、下流のタンパク質構造および機能予測タスクの性能を向上させる。
• シーケンスオンリープレトレーニングが、タンパク質モデリングにおける表現品質において、従来のMSA依存手法を上回る可能性があるかどうかを評価する。

提案手法

• 標準のマスクド言語モデルを拡張し、2つのマスクされた残基の同時確率をモデル化するペアワイズマスクド言語モデル（PMLM）を提案する。
• PMLMの目的関数は、残基ペアの確率が個々の確率の積に等しくないことを学習することで、共進化的信号を明示的に捉える。これは、残留間の依存関係を反映している。
• 大規模なタンパク質配列データベース（例：Pfam, UR50）を用いて、標準MLMと新しいPMLM目的関数を併用したマルチタスク設定で事前学習を行う。
• 事前学習済みエンコーダーは、接触予測、二次構造予測、リモート相同性検出などのタスク用の下流ヘッドを用いて微調整される。
• 下流タスクにおける表現学習を強化するために、リラクゼーションネットワーク（ResNet）ヘッドが使用され、単純な線形ヘッドよりも性能が向上する。
• 本手法はTAPEベンチマークで評価され、MSAベースのモデルや標準トランスフォーマーを含む強力なベースラインと比較されている。

実験結果

リサーチクエスチョン

• RQ1 複数配列アラインメント（MSA）に依存せずに、生タンパク質配列から共進化的情報を効果的に捉えることができるか？
• RQ2 標準MLMにおける独立的なマスキングと比較して、マスクされた残基ペアの同時確率をモデル化することは、タンパク質表現学習を向上させるか？
• RQ3 シーケンスオンリープレトレーニングアプローチが、下流のタンパク質構造予測タスクでMSAベースの手法を上回るか？
• RQ4 モデルサイズおよび下流アーキテクチャの違いが、提案されたPMLM手法の性能に与える影響は何か？

主な発見

• PMLMモデルは、同一の学習設定下で標準MLMベースラインに比べ、接触予測性能を最大9%相対的に向上させた。
• TAPEの接触予測ベンチマークにおいて、PMLMはMSAベースのベースラインを7%以上上回り、シーケンスオンリープレトレーニングの優位性を示した。
• モデルサイズをベースからラージ、最終的にXL（715Mパラメータ）に拡大することで、接触予測のF1スコアが57.7%から71.7%へと14%の向上を達成した。
• 線形ヘッドではなくResNetヘッドを用いることで、UR50データセットにおける精度が39.2から41.6に向上し、より表現力の高い下流モジュールの利点を示した。
• 二次構造予測において、PMLM-baseはTAPE Transformerベースラインと同等の性能を示し、CB513でのスコアは0.728 vs. 0.730であった。
• リモート相同性予測において、PMLM-baseはファミリークラスでは最大10%、スーパーファミリークラスでは10.6%の向上を示し、進化的信号の強力な捉え方を示した。