[論文レビュー] Pre-training Protein Language Models with Label-Agnostic Binding Pairs Enhances Performance in Downstream Tasks

Modestas Filipavicius, Matteo Manica+2 more|arXiv (Cornell University)|Dec 5, 2020

Machine Learning in Bioinformatics被引用数 11

ひとこと要約

本論文では、ラベルなし結合ペアとラベルなし非結合ペアの混合物を用いて、RoBERTaベースのタンパク質言語モデルを事前学習する手法を提案している。学習中に結合ラベルを明示的に使用せず、マスク言語モデル化（MLM）のみを用いる。この手法は、タンパク質-タンパク質結合予測、TCRエピトープ結合、細胞小器官局在、リモート相同性分類といった下流タスクで最先端の性能を達成し、アテンション機構がシーケンスペアから結合関連のパターンを暗黙的に学習していることを示している。

ABSTRACT

Less than 1% of protein sequences are structurally and functionally annotated. Natural Language Processing (NLP) community has recently embraced self-supervised learning as a powerful approach to learn representations from unlabeled text, in large part due to the attention-based context-aware Transformer models. In this work we present a modification to the RoBERTa model by inputting during pre-training a mixture of binding and non-binding protein sequences (from STRING database). However, the sequence pairs have no label to indicate their binding status, as the model relies solely on Masked Language Modeling (MLM) objective during pre-training. After fine-tuning, such approach surpasses models trained on single protein sequences for protein-protein binding prediction, TCR-epitope binding prediction, cellular-localization and remote homology classification tasks. We suggest that the Transformer's attention mechanism contributes to protein binding site discovery. Furthermore, we compress protein sequences by 64% with the Byte Pair Encoding (BPE) vocabulary consisting of 10K subwords, each around 3-4 amino acids long. Finally, to expand the model input space to even larger proteins and multi-protein assemblies, we pre-train Longformer models that support 2,048 tokens. Further work in token-level classification for secondary structure prediction is needed. Code available at: https://github.com/PaccMann/paccmann_proteomics

研究の動機と目的

• ラベルなしの結合ペアと非結合ペアの混合物を用いて事前学習することで、下流タスクにおけるタンパク質言語モデルの性能を向上させること。
• シーケンスペアを用いた自己教師あり学習が、タンパク質結合部位などの生物学的に関連するパターンの発見を促進するかを調査すること。
• 長大なタンパク質およびマルチタンパク質アセンブリを対象とするため、最大2,048トークンをサポートするLongformer変種を事前学習することで、長距離シーケンスモデリングを可能にすること。
• 10Kのサブワードボキャブラリーを用いたバイトペア符号化（BPE）により、シーケンス表現空間を64%削減すること。
• 自己教師あり事前学習を通じて、アテンション機構がアルファヘリックスなどの構造的モチーフを検出する役割を果たすかを調査すること。

提案手法

• STRINGデータベースから得たタンパク質配列ペアの混合物を用い、1つの配列が既知の結合因子であり、もう1つがランダムな配列である状況で、マスク言語モデル化（MLM）目的のみを用いてRoBERTaモデルを事前学習する。
• 10Kのボキャブラリーを持つBPEサブワードトークン化方式を用い、3〜4個のアミノ酸セグメントを1つのトークンとして表現することで、タンパク質配列空間を64%圧縮する。
• タンパク質-タンパク質結合予測、TCRエピトープ結合、細胞小器官局在、リモート相同性分類といった下流タスクで、事前学習済みモデルを微調整する。
• 2,048トークンのコンテキスト窓を備えたLongformer変種を訓練し、長大なタンパク質配列およびマルチタンパク質複合体の処理を可能にする。
• 層ごとのアテンションパターンを分析し、アルファヘリックスに関連する周期的な4アミノ酸パターンを同定する。
• 微調整前の後でのアテンションパターンを比較し、BOS/EOSトークンへの過剰依存の減少や、Q、K、Cなどの機能的関連リジッドに注目する割合の増加を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしタンパク質ペア（結合状態ラベルなし）を用いた事前学習により、下流分類タスクの性能が向上するか？
• RQ2 自己教師ありモデルにおけるアテンション機構は、タンパク質結合部位やアルファヘリックスのような構造的モチーフを暗黙的に検出できるか？
• RQ3 より大きな、より深いモデルを、より大きなデータセットで少ないエポック数で学習することで、より小さなモデルをより長いエポック数で学習するのと比較して、性能が向上するか？
• RQ4 BPEベースのサブワードトークン化は、生物学的情報を保持したまま、シーケンス表現空間を顕著に削減できるか？
• RQ5 微調整は、生物学的に関連するリジッドに注目する割合を増やし、特別トークンへの過剰依存を減らす点で、事前学習モデルのアテンションパターンにどのように影響を与えるか？

主な発見

• 本モデルは、タンパク質-タンパク質結合予測、TCRエピトープ結合、細胞小器官局在、リモート相同性分類タスクにおいて、シングルシーケンスで事前学習されたモデルを上回る性能を達成した。
• シーケンスペアを用いた事前学習により、アルファヘリックスに関連する周期的な4アミノ酸パターンを検出するアテンションパターンが得られ、二次構造を暗黙的に学習していることが示唆された。
• 微調整により、BOSおよびEOSトークンへの過剰依存が減少し、結合領域における機能的関連リジッド（Q、K、Cなど）に注目する割合が増加した。
• 事前学習中に明示的な結合ラベルを使用していないにもかかわらず、優れた性能を達成した。これは、ペアシーケンスにおけるMLM目的が、結合関連表現を効果的に捉えていることを示している。
• Longformer変種は、最大2,048トークンのシーケンスを正常に処理でき、長大タンパク質およびマルチタンパク質アセンブリのモデリングを可能にした。
• 本研究では、より大きな、より深いモデルを、より大きなデータセットで少ないエポック数で事前学習することで、より良い下流タスクの結果が得られることを示した。