[論文レビュー] Text-Guided Molecule Generation with Diffusion Language Model

Haisong Gong, Qiang Liu+2 more|arXiv (Cornell University)|Feb 20, 2024

Chemical Synthesis and Analysis被引用数 4

ひとこと要約

本稿では、テキストガイド付き分子生成のための拡散言語モデルTGM-DLMを提案する。2段階のプロセスを用いる：最初にテキストガイドによりノイズからSMILESトークン埋め込みを最適化し、次にテキスト入力なしで不正なSMILES文字列を是正する。追加データを用いずに、自己回帰的モデル（MolT5-Base）を上回る妥当性および分子類似度指標を達成し、制御的・正確な分子設計における拡散ベース生成の優位性を示している。

ABSTRACT

Text-guided molecule generation is a task where molecules are generated to match specific textual descriptions. Recently, most existing SMILES-based molecule generation methods rely on an autoregressive architecture. In this work, we propose the Text-Guided Molecule Generation with Diffusion Language Model (TGM-DLM), a novel approach that leverages diffusion models to address the limitations of autoregressive methods. TGM-DLM updates token embeddings within the SMILES string collectively and iteratively, using a two-phase diffusion generation process. The first phase optimizes embeddings from random noise, guided by the text description, while the second phase corrects invalid SMILES strings to form valid molecular representations. We demonstrate that TGM-DLM outperforms MolT5-Base, an autoregressive model, without the need for additional data resources. Our findings underscore the remarkable effectiveness of TGM-DLM in generating coherent and precise molecules with specific properties, opening new avenues in drug discovery and related scientific domains. Code will be released at: https://github.com/Deno-V/tgm-dlm.

研究の動機と目的

• 自己回帰的モデルが固定された生成順序のため、グローバル制約をうまく処理できないという限界を是正すること。
• SMILESベースの生成における拡散モデルの使用を検討し、分子表現の包括的かつ反復的最適化を可能にすること。
• 不正なSMILES文字列の専用是正段階を導入することで、分子の妥当性とテキスト記述との整合性を向上させること。
• 拡散ベース生成が、一貫性があり正確で妥当な分子を生成する点で、自己回帰的ベースラインを上回れることを示すこと。

提案手法

• TGM-DLMは2段階の拡散生成プロセスを採用する：第1段階では、テキスト記述をガイドとして、ランダムノイズからSMILESトークン埋め込みを最適化する。
• 第2段階では、テキスト入力なしで、構造的妥当性に焦点を当てて反復的に埋め込みを精錬することで、不正なSMILES文字列を是正する。
• モデルは2つの目的で訓練される：第1段階ではテキストガイドを用いた埋め込みのノイズ除去、第2段階では汚損入力からの元のSMILESの回復。
• 両段階に共通するトランスフォーマー基盤アーキテクチャを用い、初期のテキスト整合性と構造的是正のバランスを取るために別々の訓練目的を設定する。
• 是正段階では、意味的整合性を保持しつつ分子表現を精錬するための別個のネットワークヘッドを用いる。
• 本手法はSMILESをトークンの系列として扱い、逐次的ではなく、埋め込みを一括して最適化することで拡散を適用する。

実験結果

リサーチクエスチョン

• RQ1 グローバル制約の処理を改善できるかどうか、拡散ベースのアプローチが自己回帰的モデルを上回れるか。
• RQ2 まずテキストでガイドされ、次に構造的誤りを是正する2段階の拡散プロセスが、分子の妥当性と品質を向上させるか。
• RQ3 是正段階でテキスト入力を組み込むことで、妥当で関連性のある分子の生成能力が向上するか。
• RQ4 追加の事前学習データや外部データセットでの微調整を必要とせずに、拡散モデルがどれほど分子生成を改善できるか。

主な発見

• TGM-DLMはChEBI-20データセットで88.3%の妥当性率を達成し、是正なしバージョンの78.9%から顕著に向上した。
• モデルはMolT5-Baseの性能を3倍に改善し、正確な分子文字列の生成における精度の向上を示した。
• TGM-DLMはMolT5-Baseと比較して、MACCS FTS指標で18%から36%高い分子フォルダーマッチングスコアを達成し、より良い分子構造の整合性を示した。
• 是正段階で1ステップの段階数を使用した場合、妥当性は78.9%から87.1%に上昇し、構造的精錬の有効性が裏付けられた。
• 是正段階でテキスト入力を使用しても、妥当性は82.4%を超えることはなく、むしろ構造的誤りの是正能力を阻害する可能性がある。
• 両段階を1つのネットワークで共同訓練すると、別々に訓練する場合に比べて性能が劣り、別々の目的が独立した最適化を受けることで利益を得られることを示した。