[論文レビュー] Graph Diffusion Transformers for Multi-Conditional Molecular Generation

Gang Liu, Jiaxin Xu+2 more|arXiv (Cornell University)|Jan 24, 2024

Machine Learning in Materials Science被引用数 5

ひとこと要約

複数の性質制約でグラフ拡散モデルを導くためのMulti-Conditional Diffusion（MCD）を提案し、ポリマーと小分子の両方において数値的および分類的分子特性を同時に制御できるようにする。

ABSTRACT

Inverse molecular design with diffusion models holds great potential for advancements in material and drug discovery. Despite success in unconditional molecular generation, integrating multiple properties such as synthetic score and gas permeability as condition constraints into diffusion models remains unexplored. We present the Graph Diffusion Transformer (Graph DiT) for multi-conditional molecular generation. Graph DiT integrates an encoder to learn numerical and categorical property representations with the Transformer-based denoiser. Unlike previous graph diffusion models that add noise separately on the atoms and bonds in the forward diffusion process, Graph DiT is trained with a novel graph-dependent noise model for accurate estimation of graph-related noise in molecules. We extensively validate Graph DiT for multi-conditional polymer and small molecule generation. Results demonstrate the superiority of Graph DiT across nine metrics from distribution learning to condition control for molecular properties. A polymer inverse design task for gas separation with feedback from domain experts further demonstrates its practical utility.

研究の動機と目的

• 複数の性質を満たす必要がある場合に、拡散モデルを用いた逆分子設計を動機づける。
• 多様な数値的・分類的制約を表現し統合する多条件ガイダンス機構を開発する。
• 条件表現を用いて生成を導く、グラフ依存の拡散過程とTransformerベースのデノイジングモデルを設計する。
• ポリマーと小分子データセットで多条件生成を実演し、ガス分離の逆ポリマー設計タスクを通じて実用性を評価する。

提案手法

• 複数の数値的・分類的条件の表現を学習する条件エンコーダを備えたMulti-Conditional Diffusion(MCD)を導入する。
• Transformerベースの構造エンコーダにおいて分子統計量を条件統計量で置換するために適応層正規化を用いる。
• ノード-エッジ拡散行列Q_Gを用いたグラフ依存ノイズモデルを提案し、ノイズを分子グラフ構造とより適合させる。
• 制御可能なスケールパラメータsを用いて無条件および条件付きデノイジング確率を組み合わせる予測子なしガイダンス戦略を採用する。
• 欠損条件を扱うためのドロップエンベディングを用い、無条件デノイジングと条件付きデノイジングの両方を実行する単一のGraph Transformerを訓練する。
• 3部構成のアーキテクチャ（条件エンコーダ、構造エンコーダ、構造デコーダ）とグラフから分子を生成する実用的な変換手順を提示する。

(a) Existing work’s limitation: A median rank of 30 showed that on fewer than half test polymers, the sets of generated graphs from different single conditions intersected, indicating a failure to generate polymers meeting multiple properties.

実験結果

リサーチクエスチョン

• RQ1 スケールやタイプを混同することなく、複数の数値的・分類的特性を拡散ベースの分子生成にどのように統合できるか。
• RQ2 グラフ認識ノイズモデルは、多条件ガイダンス下で生成された分子グラフの現実性と妥当性を向上させるか。
• RQ3 多条件拡散ガイダンスは、単一条件のベースラインと比較して複数の特性制約をより満たす生成を可能にするか。
• RQ4 予測子なしガイダンスは拡散ベースの分子設計における多属性出力の制御に有効か。
• RQ5 このアプローチはポリマーと小分子の両方に適用して拡張性があり、逆設計タスクで実用性を示すことができるか。

主な発見

• MCDは、単一条件ベースラインよりも複数特性制約への整合性が高く、中央値ランクがテスト環境で30を大きく上回る。
• 複数の数値特性に対してポリマー所得データセットで平均MAEを低減し、最良ベースラインと比較して誤差を17.86%削減した。
• 小分子では、タスク関連の分類条件で0.9超の精度を達成し、ベースラインの精度（0.6未満）を上回った。
• O2/N2ガス分離の逆ポリマー設計は実用性を示し、分野の専門家から多条件設計の利点を支持するフィードバックを得た。
• このアプローチは、ポリマーと薬物設計データセットの分布学習と条件制御の指標で優れた性能を示す。

(b) Proposed work: Our idea, multi-conditional guidance for diffusion models, successfully generated polymers that satisfied multi-property constraints. It achieved a higher rank than 30 in any set of the single-conditional generated graphs.