[論文レビュー] Transformers and Large Language Models for Chemistry and Drug Discovery

Andres M Bran, Philippe Schwaller|arXiv (Cornell University)|Oct 9, 2023

Machine Learning in Materials Science被引用数 8

ひとこと要約

この章は、Transformerモデルと大規模言語モデルが化学・創薬にどのように適用されているかを、表現（表現方法）、タスク特化モデル、多模態データ、化学タスクを解決するために外部ツールへアクセスする言語モデル駆動のエージェントを含めて概説します。

ABSTRACT

Language modeling has seen impressive progress over the last years, mainly prompted by the invention of the Transformer architecture, sparking a revolution in many fields of machine learning, with breakthroughs in chemistry and biology. In this chapter, we explore how analogies between chemical and natural language have inspired the use of Transformers to tackle important bottlenecks in the drug discovery process, such as retrosynthetic planning and chemical space exploration. The revolution started with models able to perform particular tasks with a single type of data, like linearised molecular graphs, which then evolved to include other types of data, like spectra from analytical instruments, synthesis actions, and human language. A new trend leverages recent developments in large language models, giving rise to a wave of models capable of solving generic tasks in chemistry, all facilitated by the flexibility of natural language. As we continue to explore and harness these capabilities, we can look forward to a future where machine learning plays an even more integral role in accelerating scientific discovery.

研究の動機と目的

• 薬物発見を加速させる言語問題としての化学研究の動機づけ。
• Transformerモデルのための分子と反応のテキストおよびマルチモーダル表現のレビュー。
• retrosynthesis や反応予測などの化学タスクにおけるタスク特化型Transformerアプローチの要約。
• 化学における高度な言語モデル、ファインチューニング、インコンテキスト学習、および外部ツールを活用するエージェントベースのシステムの検討。

提案手法

• 分子と反応をテキストシーケンス（例：SMILES、SELFIES）として表現し、Transformerベースのモデリングを可能にする。
• 翻訳スタイルのタスク（反応結果予測や retrosynthesis など）にはエンコーダ、デコーダ、またはエンコーダ-デコーダアーキテクチャを使用する。
• 化学タスクでの移転性を向上させるため、ChemFormer などのモデルを事前学習・ファインチューニングする。
• 注意分析からの表現とツールを学ぶために教師なし学習を探索する。
• マルチモーダルデータ（スペクトル、合成手順、人間の言語）を取り入れてマルチモーダルモデルを構築する。
• 化学タスクのためのファインチューニングとインコンテスト学習を伴う大規模言語モデル（LLMs）と不確実性認識回帰を検討する。

実験結果

リサーチクエスチョン

• RQ1 単一モーダルおよびマルチモーダルタスク全体で、化学言語をTransformerアーキテクチャで効果的にモデル化するにはどうすればよいか。
• RQ2 大規模言語モデルは創薬における一般的な化学推論とタスク解決を実行する上での潜在性と限界は何か。
• RQ3 外部ツールを組み込んだLLM駆動エージェントは、化学的推論タスクの信頼性と到達範囲を改善できるか。
• RQ4 Transformerからの教師なし表現は、反応予測や空間探索のようなタスクで化学知識とどの程度整合するか。

主な発見

• Transformersは反応と retrosynthesis を翻訳問題として捉えることで、化学タスクで最先端の性能を実現できる。
• エンコーダー専用およびデコーダー専用の変種は、分子、反応、性質に対して強力な表現と生成能力をもたらす。
• マルチモーダルおよび言語ベースの表現は化学データと人間の言語を橋渡しし、分子キャプション作成や実験ステップ予測などのタスクを可能にする。
• ファインチューニングとインコンテキスト学習を伴うLLMsは、データ不足の化学タスクに対応し、状況によっては専門手法を上回ることがある。
• エージェントフレームワーク（例：MRKL、ReAct、ChemCrow）は、化学における grounding とツール使用を示し、LLMsの信頼性と実用性を向上させる。