[論文レビュー] To Transformers and Beyond: Large Language Models for the Genome

Micaela Elisa Consens, C Dufault+7 more|arXiv (Cornell University)|Nov 13, 2023

Genomics and Phylogenetic Studies被引用数 31

ひとこと要約

このレビューは、ゲノムモデリングにおけるトランスフォーマー基盤のLLMsおよび関連アーキテクチャを概観し、ゲノム領域でのアーキテクチャ、事前学習、ファイントレーニング、将来の方向性を詳述する。

ABSTRACT

In the rapidly evolving landscape of genomics, deep learning has emerged as a useful tool for tackling complex computational challenges. This review focuses on the transformative role of Large Language Models (LLMs), which are mostly based on the transformer architecture, in genomics. Building on the foundation of traditional convolutional neural networks and recurrent neural networks, we explore both the strengths and limitations of transformers and other LLMs for genomics. Additionally, we contemplate the future of genomic modeling beyond the transformer architecture based on current trends in research. The paper aims to serve as a guide for computational biologists and computer scientists interested in LLMs for genomic data. We hope the paper can also serve as an educational introduction and discussion for biologists to a fundamental shift in how we will be analyzing genomic data in the future.

研究の動機と目的

• トランスフォーマーアーキテクチャとLLMsがゲノム学において果たす役割と影響を調査し、トランスフォーマー基盤アプローチと従来のCNN/RNNモデルを比較する。
• 注意機構、マルチヘッド注意、add-and-norm、スキップ接続といった主要なアーキテクチャ要素を説明し、それらがゲノムデータにどう適用されるかを説明する。
• MLMとALMを含む事前学習とファインチューニング regimes の影響と、データ効率とタスクパフォーマンスへの意味を議論する。
• 現状の制限、新興アーキテクチャ（例：Hyena、HyenaDNA）とトランスフォーマーパラダイムを超えた将来の方向性を強調する。

提案手法

• トランスフォーマーの基本とゲノムへの適用を説明し、トークン化戦略（例：配列のk-mer、非連続データの遺伝子ID）を含む。
• ゲノム学で用いられるトランスフォーマーの変種（エンコーダ-デコーダ、エンコーダーのみ、デコーダーのみ）とそれらの典型的な事前学習目的（MLM、ALM）をレビューする。
• CNN様の成分とトランスフォーマーブロックを組み合わせてゲノムアッセイを予測するトランスフォーマーハイブリッドモデルを説明する。
• 文脈長と効率の課題に対処するため提案された代替アーキテクチャ（例：HyenaDNA）を紹介する。
• トレーニングパイプラインを要約する：教師なし/教師あり/半教師ありの事前学習の後、タスク固有のファイントレーニングを行う。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤LLMsがゲノムデータモデリングにおいて持つ長所と限界は何か。
• RQ2 異なるトランスフォーマー変種（エンコーダーのみ、デコーダーのみ、エンコーダー-デコーダー）は、規制注釈、発現予測、アッセイデータモデリングといったゲノムタスクにおいてどう比較されるか。
• RQ3 ゲノム学において最も汎化とデータ効率を高める事前学習とファインチューニング戦略は何か。
• RQ4 長距離ゲノム文脈とスケーラビリティの利点を提供する非トランスフォーマーまたは次世代アーキテクチャ（例：Hyena、HyenaDNA）は何か。

主な発見

• トランスフォーマーはアテンションを介して長距離ゲノム相互作用をモデリング可能であり、しばしば大量のラベルなしデータを活用するための事前学習で強化される。
• エンコーダーのみ（BERT風）モデルは埋め込みベースの分類タスクで優れており、デコーダーのみ（GPT風）モデルは配列生成と一方向タスクに適している。いずれもゲノム学でのドメイン固有の適用が示されている。
• 事前学習（特に教師なしのMLMまたはALM）とそれに続くタスク固有のファインチューニングは、ゲノムデータ効率の中心的なパラダイムとして依然として重要である。
• HyenaとHyenaDNAは長文脈ゲノムデータに対する伝統的な注意機構の拡張として、文脈長と効率の課題に対応するスケーラブルな代替手段を提供する。
• CNN成分と注意機構を統合したトランスフォーマー混合設計は、ゲノム入力からアッセイレベルのアウトカムを予測できる（定量的または二値）場合がある。
• エンコーダ-デコーダアーキテクチャは、入力と出力の長さが異なるマッピングを予測でき、純粋なCNNエンコーダより柔軟性を提供する可能性がある。