[論文レビュー] C5T5: Controllable Generation of Organic Molecules with Transformers

Daniel Rothchild, Alex Tamkin+3 more|arXiv (Cornell University)|Aug 23, 2021

Molecular Junctions and Nanostructures参考文献 35被引用数 17

ひとこと要約

C5T5は、IUPAC名を自然言語として扱うことで、ペaired編集データが不要な自己教師あり、トランスフォーマー基盤のゼロショットで制御可能な有機分子生成手法を提案する。ドメインの専門家は、化学的に直感的な選択・置換編集により、分子の性質を最適化できる。離散化された性質値を条件付け、目的のフラグメントをマスキングして補完することで、解釈可能で性質指向の分子変更を実現し、4つの薬物関連物理的性質の最適化に成功した。

ABSTRACT

Methods for designing organic materials with desired properties have high potential impact across fields such as medicine, renewable energy, petrochemical engineering, and agriculture. However, using generative modeling to design substances with desired properties is difficult because candidate compounds must satisfy multiple constraints, including synthetic accessibility and other metrics that are intuitive to domain experts but challenging to quantify. We propose C5T5, a novel self-supervised pretraining method that enables transformers to make zero-shot select-and-replace edits, altering organic substances towards desired property values. C5T5 operates on IUPAC names -- a standardized molecular representation that intuitively encodes rich structural information for organic chemists but that has been largely ignored by the ML community. Our technique requires no edited molecule pairs to train and only a rough estimate of molecular properties, and it has the potential to model long-range dependencies and symmetric molecular structures more easily than graph-based methods. C5T5 also provides a powerful interface to domain experts: it grants users fine-grained control over the generative process by selecting and replacing IUPAC name fragments, which enables experts to leverage their intuitions about structure-activity relationships. We demonstrate C5T5's effectiveness on four physical properties relevant for drug discovery, showing that it learns successful and chemically intuitive strategies for altering molecules towards desired property values.

研究の動機と目的

• ドラッグディスcoveryにおける望ましい物理的性質を有する有機分子の設計という課題に取り組む。従来の手法は膨大な化学的空間と、専門家の直感の活用不足に起因する制限を抱える。
• SMILES や分子グラフなどの原子ベース表現に依存する既存の生成モデルの限界を克服する。これらの表現は化学者が直感的に扱いにくい構造を持つ。
• ペア編集データや望ましい変換の明示的例示が不要な、細粒度のユーザー主導の分子最適化手法を開発すること。
• IUPAC名の操作を通じて、化学者が構造-活性関係をどのように考えるかというメンタルモデルと整合する、人間が関与するインターフェースを提供すること。
• 粗い性質条件付けと自己教師あり補完学習で訓練することで、推論時に望ましい目標性質値を指定できるゼロショット性質指向編集を可能にすること。

提案手法

• C5T5は、機能性基や分子の対称性を化学者が直感的に理解できる形で符号化する、意味的に豊富で標準化された表現としてIUPAC名を用いて有機分子を表現する。
• モデルは自己教師あり補完目的で訓練された条件付きT5ベースのトランスフォーマー・アーキテクチャを採用し、IUPAC名内のマスクされたトークンを、分子の離散化された性質値を条件として予測する。
• 訓練段階では、目標分子性質の離散化されたバケット（例：logP、溶解度など）をIUPAC名の前に付加することで、モデルを条件づける。
• 推論段階では、ユーザーが置換するフラグメントを選択し、センチネルトークンでマスキングし、望ましい性質バケット（例：<high> でlogPを増加）を条件として与える。これにより、モデルは新しいフラグメントを生成する。
• この手法はゼロショット編集をサポートする。ペア編集例は不要であり、未対応の分子と性質推定値の自己教師あり事前学習から一般化が可能である。
• インターフェースにより、専門家は化学的直感に基づいてフラグメントを置換することで、分子を段階的に最適化でき、化学的に妥当かつ性質指向の代替物を生成する。

実験結果

リサーチクエスチョン

• RQ1 IUPAC名における自己教師あり言語モデリングアプローチは、ペア編集データや例示が不要な状態で、ゼロショットで制御可能な分子編集を可能にするか？
• RQ2 粗い性質推定値とマスキングされたフラグメントのみに条件づけられたトランスフォーマー・モデルが、化学的に直感的かつ妥当な分子変更を学習できる程度はどの程度か？
• RQ3 SMILES やグラフベース表現と比較して、IUPAC名を表現として用いることで、解釈可能性と専門家の直感との整合性がどの程度向上するか？
• RQ4 明示的な指導なしに、既知の構造-活性関係（例：logPを向上させるために疎水性鎖を付加）をモデルが発見し、適用できるか？
• RQ5 この手法は、logP、溶解度、融点などのドラッグディスカバリに重要な複数の物理的性質について、望ましい変化を示す分子をどの程度効果的に生成できるか？

主な発見

• C5T5は、分子のオクタノール-水分配係数（logP）を増加または減少させる化学的に直感的な編集を学習し、水溶性基を長鎖アルキル鎖に置換することで疎水性を高める例を含む。
• 入力のIUPAC名に対称性を示す語（例：'bis' や 'diol'）が含まれる場合、モデルは対称的な分子を生成する。これは、構造的パターンを保存または拡張する能力を示している。
• 対称的スケルトンを有する分子に対して、C5T5は妥当で対称的な出力を生成する（例：対称的ジオールにおいて'ol'を'sulfinic acid'に置換）。構造的複雑性に対しても頑健である。
• モデルは既知の化学的原則に一致する編集を提案する。例えば、logPを増加させるために疎水性フラグメントを追加し、逆に水溶性基を追加してlogPを低下させる。訓練データに同様の例が存在しなくても同様の挙動を示す。
• 成功は見られるが、時として不安定な化合物（例：酸化を起こす可能性のある隣接するNH2基）を生成する場合もあり、専門家の検証がループ内に必要であることを示唆している。
• 化学者のドメイン知識を活用する選択・置換インターフェースを通じて、細粒度の専門家主導の最適化が可能であり、ブラックボックス生成の実用的代替手段を提供する。