[論文レビュー] A Comprehensive Review of Protein Language Models

Lei Wang, Xudong Li+5 more|ArXiv.org|Feb 8, 2025

Machine Learning in Bioinformatics被引用数 6

ひとこと要約

タンパク質言語モデル（PLMs）のマクロレベルの概観で、アーキテクチャ、位置エンコーディング、スケーリング法則、データセット、ベンチマーク、応用、ツール、PLM領域の課題を網羅。

ABSTRACT

At the intersection of the rapidly growing biological data landscape and advancements in Natural Language Processing (NLP), protein language models (PLMs) have emerged as a transformative force in modern research. These models have achieved remarkable progress, highlighting the need for timely and comprehensive overviews. However, much of the existing literature focuses narrowly on specific domains, often missing a broader analysis of PLMs. This study provides a systematic review of PLMs from a macro perspective, covering key historical milestones and current mainstream trends. We focus on the models themselves and their evaluation metrics, exploring aspects such as model architectures, positional encoding, scaling laws, and datasets. In the evaluation section, we discuss benchmarks and downstream applications. To further support ongoing research, we introduce relevant mainstream tools. Lastly, we critically examine the key challenges and limitations in this rapidly evolving field.

研究の動機と目的

• PLMsにおける歴史的な節目と現在の主流動向を調査する。
• モデルアーキテクチャ、位置エンコーディング方式、スケーリング法則、事前学習データセットを分析する。
• 評価ベンチマーク、下流アプリケーション、およびPLMs向けの利用可能なツールを検討する。
• PLMsにおける主要な課題、制約、将来の発展方向を強調する。

提案手法

• PLMsを非トランスフォーマー系とトランスフォーマー系アーキテクチャに分類し、代表的なモデルを要約する。
• 位置エンコーディング方式（絶対的・相対的、RoPEを含む）とそれらがPLMsに与える影響を議論する。
• PLMsにおけるモデルサイズ、データ、計算量のスケーリング法則とその含意を検討する。
• PLMsで使用される事前学習データセットおよび構造/機能データセットとベンチマークを整理・分類する。
• 主要なPLMs、データセット、ツールのリンク付きリソース集を提供する。
• シーケンスデータへの依存と構造監督学習の不足、効率性の問題などの課題を批判的に分析する。

実験結果

リサーチクエスチョン

• RQ1 PLMsにおける主要なアーキテクチャ動向とその進化は何か？
• RQ2 位置エンコーディングの選択は、タンパク質配列におけるPLMの性能と一般化にどう影響するか？
• RQ3 スケーリング法則は、サイズ・データ・計算量の観点からPLMsの今後の成長に何を意味するか？
• RQ4 PLMsの事前学習と評価を最も効果的に支援するデータセットとベンチマークは何か？
• RQ5 PLMsとその下流アプリケーションが直面する主要な課題と未解決の問題は何か？

主な発見

• Transformer-based PLMsが現在の研究と応用を支配している。
• RoPEベースの相対位置エンコーディングが、可変長のタンパク質配列を扱うのに一般的に採用されている。
• スケーリング法則は、より大きなモデルとデータによって性能が向上することを示す一方、いくつかのPLMsで過不足学習が観察されている。
• 事前学習と評価には、シーケンス・構造・機能データセットの広範なセット（例：UniProt、Pfam、AlphaFoldDB）と、CASP、CAFA、GO、FLIPなどのベンチマークが使用されている。
• 構造予測、機能予測、タンパク質設計、突然変異効果予測など、広範な下流アプリケーションが存在する。
• 本調査は、継続的なPLM研究を支援するモデル・データセット・ツールの統合リソースを提供する。