[論文レビュー] Language models in molecular discovery

Nikita Janakarajan, Tim Erdmann+3 more|arXiv (Cornell University)|Sep 28, 2023

Machine Learning in Materials Science被引用数 5

ひとこと要約

この論文は、特にトランスフォーマーに基づくアーキテクチャを用いた言語モデルの、創薬の高速化における応用をレビューしている。主な焦点は、デ・ノボ薬物設計、物性予測、反応化学分野である。本研究では、チャットボットインターフェースを通じて大規模言語モデルと化学情報学ツールを統合することで、非専門家が自然言語によって複雑な化学的タスクを実行できることを示しており、AI駆動の分子設計へのアクセス障壁を顕著に低減している。

ABSTRACT

The success of language models, especially transformer-based architectures, has trickled into other domains giving rise to "scientific language models" that operate on small molecules, proteins or polymers. In chemistry, language models contribute to accelerating the molecule discovery cycle as evidenced by promising recent findings in early-stage drug discovery. Here, we review the role of language models in molecular discovery, underlining their strength in de novo drug design, property prediction and reaction chemistry. We highlight valuable open-source software assets thus lowering the entry barrier to the field of scientific language modeling. Last, we sketch a vision for future molecular design that combines a chatbot interface with access to computational chemistry tools. Our contribution serves as a valuable resource for researchers, chemists, and AI enthusiasts interested in understanding how language models can and will be used to accelerate chemical discovery.

研究の動機と目的

• 言語モデルが創薬設計、物性予測、反応化学の分野における分子探索の加速に果たす役割をレビューすること。
• 研究者や化学者にとっての科学的言語モデリングの入り口を下げるオープンソースのソフトウェアツールを強調すること。
• チャットボットインターフェースと計算化学ツールを統合したインタラクティブでAI支援の分子設計の将来像を提示すること。
• 自然言語駆動の分子生成と分析を実現するためのLLMと化学情報学パイプラインの実用的統合を示すこと。

提案手法

• SMILES、SELFIES、InChIなどの分子表現に微調整されたトランスフォーマー基盤の言語モデルを用い、シーケンスモデリングを実施する。
• プロンプトベースの微調整を採用し、分子生成や物性予測を含む、マルチタスクの科学的推論に言語モデルを適応させる。
• APIコールを介して事前に学習されたLLMを外部の化学情報学ツール（例：PubChem、RDKit、GT4SD）と統合し、化学的タスクのプログラム的実行を可能にする。
• リtrieーブ・オーバーライド生成（RAG）およびツール補助プロンプト技術を用いて、分子タスクにおける推論力と正確性を向上させる。
• 自然言語クエリを解釈し、外部ツールのコールを調整するチャットボットインターフェース（例：ChemChat）を開発・実証し、分子同定、logP計算、QEDスコアリング、物性駆動の生成を実行する。
• 回帰トランスフォーマーとサブストラクチャ制約付き生成を用い、logP値の増加といった所望の物性を持つ分子を生成する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、化学分野における創薬の初期段階の高速化にどのように効果的に応用できるか？
• RQ2 プログラミングの知識がなくても、LLMが自然言語クエリと複雑な化学情報学ワークフローをどれほど効果的に統合できるか？
• RQ3 GT4SD や PubChem などの外部ツールと統合されたLLMが、分子物性予測や生成においてどの程度のパフォーマンスを示すか？
• RQ4 LLMと化学情報学ツールの統合は、AI駆動の分子設計の使いやすさとアクセシビリティをどのように向上させるか？
• RQ5 LLM駆動のチャットボットは、分子同定、物性計算、生成的設計といった複数ステップの化学的推論タスクを信頼性を持って実行できるか？

主な発見

• SMILESなどの分子シーケンスで微調整された言語モデルは、構造的表現を学習でき、物性駆動の化学空間探索を可能にする。
• パラメータ数がたった250Mの「Multitask Text and Chemistry T5」モデルが、ChatGPT や Galactica よりも共通の除草剤の再発見タスクで優れた性能を示した。
• ChemChat などのチャットボットインターフェースは、PubChem や GT4SD といった外部ツールへのコールを調整することで、分子同定、logP および QED の計算といった複雑なワークフローを効果的に実行した。
• 回帰トランスフォーマーを用いた物性駆動の分子生成により、ターゲットlogPが-0.5のテオブロミンアナログが3つ生成され、正確な制約付き設計の有効性が実証された。
• LLMと化学情報学ツールの統合により、プログラミングの知識がなくても自然言語によって高度な化学的タスクを実行できるようになり、AI駆動の分子設計への技術的障壁が顕著に低下した。
• LLMと既存のソフトウェア（例：RDKit、GT4SD）の統合により、非同期計算と構造化された応答フォーマット（可視化やインタラクティブなデータ出力も含む）が可能になった。