[論文レビュー] PeptideBERT: A Language Model based on Transformers for Peptide Property Prediction

Chakradhar Guntuboina, Adrita Das+3 more|arXiv (Cornell University)|Aug 28, 2023

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

PeptideBERT は、構造的データを一切使用せずにアミノ酸配列のみを用いてヘモリシス、ノンフーリング、溶解度といった重要なペプチド性状を予測するため、ProtBERT を微調整したトランスフォーマー基盤の言語モデルである。ヘモリシス予測では最先端性能（83.01%の正解率）を達成し、ノンフーリングおよび溶解度予測でも優れた結果を示しており、ペプチド性状モデリングにおいてタンパク質配列の事前学習が有効であることを示している。

ABSTRACT

Recent advances in Language Models have enabled the protein modeling community with a powerful tool since protein sequences can be represented as text. Specifically, by taking advantage of Transformers, sequence-to-property prediction will be amenable without the need for explicit structural data. In this work, inspired by recent progress in Large Language Models (LLMs), we introduce PeptideBERT, a protein language model for predicting three key properties of peptides (hemolysis, solubility, and non-fouling). The PeptideBert utilizes the ProtBERT pretrained transformer model with 12 attention heads and 12 hidden layers. We then finetuned the pretrained model for the three downstream tasks. Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide's potential to induce red blood cell lysis. Our PeptideBert non-fouling model also achieved remarkable accuracy in predicting peptide's capacity to resist non-specific interactions. This model, trained predominantly on shorter sequences, benefits from the dataset where negative examples are largely associated with insoluble peptides. Codes, models, and data used in this study are freely available at: https://github.com/ChakradharG/PeptideBERT

研究の動機と目的

• 構造的データを必要としない、配列のみを用いたペプチド性状予測モデルの開発。
• ProtBERT のような事前学習済みタンパク質言語モデルを、下流のペプチド性状予測タスクに活用すること。
• 自己教師あり事前学習を活用して、ヘモリシス、ノンフーリング、溶解度といった治療的性状の予測精度を向上させること。
• 大規模なタンパク質配列からの自己教師あり事前学習が、短いが機能的に重要なペプチド配列へと効果的に転移可能であることを示すこと。

提案手法

• ヘモリシス、ノンフーリング、溶解度分類の3つのペプチド性状予測タスクに、12層、12ヘッド、480ユニットの隠れ層を持つトランスフォーマーであるProtBERTを微調整した。
• ヘモリシス、ノンフーリング、溶解度分類の各タスクに特化したヘッド層を備えた共有エンコーダー構造を採用した。
• 15%、20%、30%のマスキング確率を用いたランダムマスキングによるデータ拡張を実施し、耐性と性能のトレードオフを評価した。
• 学習率 1.0×10⁻⁵、バッチサイズ 32、ドロップアウト率 0.15、忍耐力 4、係数 0.1 の学習率スケジューラーを採用した。
• モデルの深さとアテンションヘッド数のアブレーションスタディを実施し、アーキテクチャの影響を評価した。
• 交差エントロピー損失を用いてエンドツーエンドで学習し、収束の安定性を確保するため、早期停止と学習率スケジューリングを適用した。

実験結果

リサーチクエスチョン

• RQ1 ProtBERT のような事前学習済みタンパク質言語モデルを、アミノ酸配列のみを用いてペプチド性状予測に効果的に微調整できるか？
• RQ2 PeptideBERT は、ヘモリシス活性、ノンフーリング、溶解度の予測において、既存の最先端モデルと比較してどのように差をつけるか？
• RQ3 ランダムマスキングによるデータ拡張が、溶解度予測におけるモデルの一般化性能に及ぼす影響は何か？
• RQ4 深さやアテンションヘッド数といったアーキテクチャ的選択が、異なるペプチド性状予測タスクにおける予測精度に与える影響は何か？
• RQ5 自己教師あり事前学習による大規模タンパク質配列からの転移が、短く機能的に重要なペプチド配列へどの程度効果的に適用可能か？

主な発見

• PeptideBERT は、12層・12ヘッドのアーキテクチャを用いてヘモリシス予測で最先端の性能を達成し、正解率 83.010% を記録した。
• 15%のマスキング確率でランダムマスキングを適用した溶解度予測では 68.784% の正解率を達成したが、マスキング率が上昇するにつれて低下した。
• ノンフーリング予測モデルは高い正解率を示し、2～20アミノ酸の短い配列においても、構造的入力が最小限の条件下で優れた性能を発揮した。
• アブレーションスタディの結果、モデルの深さやアテンションヘッド数を一定以上に増加させても効果が薄れることが判明し、48層モデルでは正解率が 78.865% にとどまった。
• 訓練時間はタスクによって異なり、溶解度予測が最も長く（116.42分）、次にヘモリシス（69.28分）、ノンフーリング（58.28分）の順であった。
• 最適な学習率は 1.0×10⁻⁵ であると特定され、全タスクにおいて収束速度と過学習の防止のバランスが取れていた。