[論文レビュー] Interactive Molecular Discovery with Natural Language

Zheni Zeng, Bangchen Yin+8 more|arXiv (Cornell University)|Jun 21, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、自然言語を用いてターゲット分子を記述・編集できる対話型の新規パラダイム「会話型分子設計」を導入する。著者らは、実験的性質と3次元分子空間的知識を統合することで、自然言語と化学言語の橋渡しを行う知識強化型生成モデルChatMolを提案する。従来の手法と比較して、訓練コストを低減しつつ、分子生成および理解タスクにおける性能を顕著に向上させる。

ABSTRACT

Natural language is expected to be a key medium for various human-machine interactions in the era of large language models. When it comes to the biochemistry field, a series of tasks around molecules (e.g., property prediction, molecule mining, etc.) are of great significance while having a high technical threshold. Bridging the molecule expressions in natural language and chemical language can not only hugely improve the interpretability and reduce the operation difficulty of these tasks, but also fuse the chemical knowledge scattered in complementary materials for a deeper comprehension of molecules. Based on these benefits, we propose the conversational molecular design, a novel task adopting natural language for describing and editing target molecules. To better accomplish this task, we design ChatMol, a knowledgeable and versatile generative pre-trained model, enhanced by injecting experimental property information, molecular spatial knowledge, and the associations between natural and chemical languages into it. Several typical solutions including large language models (e.g., ChatGPT) are evaluated, proving the challenge of conversational molecular design and the effectiveness of our knowledge enhancement method. Case observations and analysis are conducted to provide directions for further exploration of natural-language interaction in molecular discovery.

研究の動機と目的

• 現在の分子設計システムが特化した化学表記（例：SMILES）に依存していることによる技術的障壁の高さと対話性の低さを是正すること。
• 自然言語を主な媒体として用いることで、柔軟で複数回のやり取りが可能な人間と機械の対話的分子設計を可能にすること。
• 分子タスクにおける自然言語記述と化学言語表現（例：SMILES）の間の意味的ギャップを埋めること。
• 特に実験的性質と3次元構造情報といった分野特異的分子知識を言語モデルに統合することで、精度と解釈可能性を向上させること。
• 会話的環境において分子理解と生成の両方をサポートするスケーラブルな、知識拡張型生成モデルの開発

提案手法

• 著者らは、ユーザーが自然言語で分子を記述・検索・変更できる対話型分子設計フレームワークを設計する。
• SMILES文字列と生体化学文献の両方を共同事前学習することで、クロスリンガル関連を学習する、微調整済みの生成事前学習言語モデルであるChatMolを導入する。
• 分子知識の統合のため、知識ベース（例：自然言語での物理的・化学的性質）からの実験的性質データと、分子ツールキット計算（例：結合種別、環系、芳香族性）からの空間的構造情報の両方を用いてモデルを訓練する。
• ルールベースのフィルタリングパイプラインを用いて、既存の分子記述対応データセットからChEBI-diaデータセットを構築し、高品質で多様な会話例を確保する。
• SMILESおよび自然言語テキストの両方に対してマスク言語モデルを適用し、その後クロスリンガルアライメントヘッドを用いて自然言語エンティティを対応する化学的表現にマッピングする。
• 二重監視による知識統合を実装する：(1) 文献からのエンティティ認識およびSMILES照合、(2) 力場ベースのコンformation生成を用いた3次元構造特徴の統合

Figure 1: Conversational molecular design diagram.

実験結果

リサーチクエスチョン

• RQ1 自然言語は、従来の化学表記の置き換えまたは補完として、対話型分子設計のための効果的で直感的なインターフェースとして機能できるか？
• RQ2 1つの言語モデルが、会話的文脈において自然言語と化学言語の両方を効果的かつ相乗的に理解・生成できるか？
• RQ3 実験的性質や3次元構造的特徴といった分野特異的分子知識を統合することで、分子生成および理解タスクにおけるモデル性能がどの程度向上するか？
• RQ4 本手法で提案された知識強化型モデルは、標準的なLLMおよび既存の分子モデルと比較して、正確性、効率性、一般化性能において優れているか？
• RQ5 特に真のラベルとなる記述が曖昧または不完全な場合に、会話型分子設計システムの評価における主な課題は何か？

主な発見

• ChatMolは、ChatGPTなどの大規模言語モデルを含むベースラインモデルと比較して、分子理解および生成タスクの両方で顕著に優れた性能を示し、知識統合の有効性を実証した。
• 大規模モデルと比較して著しく低い訓練コストで優れた性能を達成しており、パラメータ効率性の高さを示している。
• 知識ベースからの実験的性質と3次元空間的構造情報の統合により、化学的に妥当で機能的に妥当な分子の生成能力が向上した。
• 事例研究では、ChatMolが「より疎水性にしなさい」や「ベンゼン環を追加して」などの複雑な自然言語指示を正しく解釈できることを示した。
• ルールベースのフィルタリングを用いて構築されたChEBI-diaデータセットは、今後の会話型分子設計分野の研究における貴重なベンチマークを提供する。
• 有望な結果が得られたものの、自然言語記述の曖昧さと、記述と分子との間の1対1対応の欠如により、評価は依然として困難である。

Figure 2: Knowledgeable and versatile training process for ChatMol. The black arrows indicate the input to output direction of the task.