[論文レビュー] nach0: Multimodal Natural and Chemical Languages Foundation Model

Micha Livne, Zulfat Miftahutdinov+9 more|arXiv (Cornell University)|Nov 21, 2023

Topic Modeling参考文献 17被引用数 4

ひとこと要約

本論文では、科学的テキストとSMILES形式の分子文字列の両方を事前学習することで、自然言語と化学言語理解を統合するマルチモーダルエンコーダーデコーダー基礎モデルであるnach0を紹介する。NVIDIAのNeMoフレームワークを用いたインstructチューニングにより、nach0は分子生成、反応予測、および生物医学的質問忙びなど、多様な生物医学的および化学的タスクで最先端の性能を達成する。

ABSTRACT

Large Language Models (LLMs) have substantially driven scientific progress in various domains, and many papers have demonstrated their ability to tackle complex problems with creative solutions. Our paper introduces a new foundation model, nach0, capable of solving various chemical and biological tasks: biomedical question answering, named entity recognition, molecular generation, molecular synthesis, attributes prediction, and others. nach0 is a multi-domain and multi-task encoder-decoder LLM pre-trained on unlabeled text from scientific literature, patents, and molecule strings to incorporate a range of chemical and linguistic knowledge. We employed instruction tuning, where specific task-related instructions are utilized to fine-tune nach0 for the final set of tasks. To train nach0 effectively, we leverage the NeMo framework, enabling efficient parallel optimization of both base and large model versions. Extensive experiments demonstrate that our model outperforms state-of-the-art baselines on single-domain and cross-domain tasks. Furthermore, it can generate high-quality outputs in molecular and textual formats, showcasing its effectiveness in multi-domain setups.

研究の動機と目的

• 自然言語と化学言語の表現を理解・生成できる統合的基礎モデルの開発を目的とする。
• 従来のモデルが自然言語と化学構造データを別々に処理し、しばしばSMILES形式の分子データを無視するという限界を解消することを目的とする。
• 科学文献と分子文字列を共同で事前学習することで、創薬分野におけるクロスドメイン性能を向上させることを目的とする。
• インストラクションチューニングにより、多様な化学および生物医学的NLPタスクにおける少サンプルおよびゼロショット適応を効果的に可能とすることを目的とする。
• レトロ合成、物性予測、分子記述生成を含む多タスク・マルチドメイン環境において、1つのモデルが効果的に機能することを示すこと

提案手法

• PubMedや特許文書などの科学的文献と、ZINC15およびPubChemからのSMILES文字列を組み合わせた大規模コーパスを用いて、トランスフォーマー基盤のエンコーダーデコーダーモデルを事前学習する。
• マスクド言語モデリングやノイズ除去オートエンコーダーなどの自己教師あり学習目的を用い、複数モodal間で文脈を捉えた表現を学習する。
• NVIDIAのNeMoフレームワークを用いて、マルチGPUおよび分散学習を効率的に行うために、ベース版および大規模版のモデルを微調整する。
• タスク固有のプロンプト（例：'分子を説明してください: C1=CC(=CC=C1...)）を用いたインストラクションチューニングにより、モデル出力を下流タスクの要件に一致させる。
• 自然言語トークンと化学的固有トークン（例：SMILESの正規表現ベースのトークン化から得られるもの）を含む統一されたボキャブラリーを採用する。
• T5ベースアーキテクチャを活用し、多様な化学的およびNLPタスクにおいて、シーケンスからシーケンスへの生成および分類をサポートする。

実験結果

リサーチクエスチョン

• RQ1 1つの基礎モデルが、自然言語と化学構造（例：SMILES）の表現を統合的に扱い、多ドメインタスクに効果的に適用できるか？
• RQ2 科学的テキストと分子文字列を共同で事前学習することで、モダリティ固有のモデルと比較して、下流の化学的および生物医学的NLPタスクの性能が向上するか？
• RQ3 インストラクションチューニングは、多様な化学的および生物学的タスクにおけるマルチモーダル基礎モデルのゼロショットおよび少サンプル一般化性能をどの程度向上させるか？
• RQ4 nach0は、分子物性予測や自然言語記述からの反応経路生成といったクロスドメイン設定において、どの程度の性能を示すか？
• RQ5 レトロ合成、分子生成、および生物医学的質問忙びといったタスクにおいて、統合モデルが特化型モデルを上回る性能を発揮できるか？

主な発見

• nach0は、生物医学的質問忙び、固有語認識、分子属性予測を含む、単一ドメインおよびクロスドメインタスクにおいて、最先端のベースラインを上回る性能を示した。
• タスク固有の微調整なしに、分子生成、レトロ合成、反応予測タスクで優れたゼロショットおよび少サンプル性能を達成した。
• インストラクションチューニングにより、出力品質とタスク適合性が顕著に向上し、化学的に妥当で意味的に明確な出力を生成できるようになった。
• nach0は、分子記述生成や物性予測を含む、多様な化学的および生物学的タスクにおいて、強固な一般化性能を示した。
• Chemformer や MolT5 といった特化型モデルと同等の性能を発揮しながらも、統合的でマルチタスクなフレームワークで動作した。
• モデル重みは、受容後、HuggingFaceおよびNVIDIA NGC カタログに公開され、研究および応用への広範なアクセスを可能にする。