[論文レビュー] Evaluation of GPT and BERT-based models on identifying protein-protein interactions in biomedical text

Hasin Rehana, Nur Bengisu Çam+6 more|PubMed|Mar 30, 2023

Biomedical Text Mining and Ontologies参考文献 43被引用数 20

ひとこと要約

本論文は、三つのゴールド標準コーパスにわたって、GPTおよびBERTベースのモデルによる蛋白質間相互作用 (PPI) 抽出を評価し、BERT系が全体として最も高い性能を示す一方で GPT-4 は競争力のある結果を示すことを見出している。

ABSTRACT

Detecting protein-protein interactions (PPIs) is crucial for understanding genetic mechanisms, disease pathogenesis, and drug design. However, with the fast-paced growth of biomedical literature, there is a growing need for automated and accurate extraction of PPIs to facilitate scientific knowledge discovery. Pre-trained language models, such as generative pre-trained transformers (GPT) and bidirectional encoder representations from transformers (BERT), have shown promising results in natural language processing (NLP) tasks. We evaluated the performance of PPI identification of multiple GPT and BERT models using three manually curated gold-standard corpora: Learning Language in Logic (LLL) with 164 PPIs in 77 sentences, Human Protein Reference Database with 163 PPIs in 145 sentences, and Interaction Extraction Performance Assessment with 335 PPIs in 486 sentences. BERT-based models achieved the best overall performance, with BioBERT achieving the highest recall (91.95%) and F1-score (86.84%) and PubMedBERT achieving the highest precision (85.25%). Interestingly, despite not being explicitly trained for biomedical texts, GPT-4 achieved commendable performance, comparable to the top-performing BERT models. It achieved a precision of 88.37%, a recall of 85.14%, and an F1-score of 86.49% on the LLL dataset. These results suggest that GPT models can effectively detect PPIs from text data, offering promising avenues for application in biomedical literature mining. Further research could explore how these models might be fine-tuned for even more specialized tasks within the biomedical domain.

研究の動機と目的

• 生物医学テキストにおけるPPIを識別するためのGPTおよびBERTベースのモデルの有効性を評価する。
• 複数の厳選されたPPIコーパス間で性能を比較する。
• PPI抽出タスクにおいて最適な精度、再現率、F1を達成するモデルを特定する。

提案手法

• LLL, HPRD, IPEA の三つの手作業でキュレーションされたゴールドスタンダードコーパスを用いてPPI識別を評価する。
• PPIタスクに対して複数のGPTおよびBERTベースのモデルをベンチマークする。
• 各モデルとコーパスごとに精度、再現率、F1スコアを報告する。
• Top-performing models (BioBERT, PubMedBERT) および GPT-4 の比較性能を強調する。

実験結果

リサーチクエスチョン

• RQ1 GPTベースのモデル（GPT-4 を含む）は、BERTベースのモデルと比較して生物医学テキスト中のPPIをどの程度識別できるか？
• RQ2 三つのゴールドスタンダードコーパス全体で最高の精度・再現率・F1を達成するモデルのバリアントはどれか？
• RQ3 生物医学用に特化して事前学習されていないGPTモデル（例：GPT-4）は、PPI抽出において専門の生物医学BERTモデルと見合うか？
• RQ4 BioBERT、PubMedBERT、GPT-4 のそれぞれのデータセット間でのPPI検出性能のトレードオフは何か？

主な発見

• BERTベースのモデルがコーパス全体で最良の総合性能を達成した。
• BioBERT は recall 91.95%、F1スコアは 86.84% で最高を達成した。
• PubMedBERT は精度を 85.25% で最高に達した。
• GPT-4, 生物医学テキストで特に訓練されていないにもかかわらず、称賛に値する性能を示し、トップのBERTモデルと比肩する結果となった。
• LLL データセットでは、GPT-4 は precision 88.37%、recall 85.14%、F1 86.49% を達成した。