[論文レビュー] Tartarus: A Benchmarking Platform for Realistic And Practical Inverse Molecular Design

AkshatKumar Nigam, Robert Pollice+6 more|arXiv (Cornell University)|Sep 26, 2022

Machine Learning in Materials Science被引用数 28

ひとこと要約

TARTARUS は、材料、医薬品、反応にまたがる分子の逆設計のためのモジュラーで現実的なベンチマークスイートを提供し、実務的な制約の下で複数の生成モデルを比較します。

ABSTRACT

The efficient exploration of chemical space to design molecules with intended properties enables the accelerated discovery of drugs, materials, and catalysts, and is one of the most important outstanding challenges in chemistry. Encouraged by the recent surge in computer power and artificial intelligence development, many algorithms have been developed to tackle this problem. However, despite the emergence of many new approaches in recent years, comparatively little progress has been made in developing realistic benchmarks that reflect the complexity of molecular design for real-world applications. In this work, we develop a set of practical benchmark tasks relying on physical simulation of molecular systems mimicking real-life molecular design problems for materials, drugs, and chemical reactions. Additionally, we demonstrate the utility and ease of use of our new benchmark set by demonstrating how to compare the performance of several well-established families of algorithms. Surprisingly, we find that model performance can strongly depend on the benchmark domain. We believe that our benchmark suite will help move the field towards more realistic molecular design benchmarks, and move the development of inverse molecular design algorithms closer to designing molecules that solve existing problems in both academia and industry alike.

研究の動機と目的

• 薬物、触媒、材料にとっての逆分子設計とその現実世界での重要性を動機づける。
• 物理シミュレーションワークフローを用いた実践的な設計問題を反映する、現実的でモジュラーなベンチマークスイートを提供する。
• 複数の設計ドメインで多様なアルゴリズムファミリーの公平な比較を可能にする。
• 化学と機械学習コミュニティへの普及を加速させるため、データセットの使用、評価、再現性に関する詳細なガイドラインを提供する。

提案手法

• 材料、医薬品、化学反応に着想を得た4つの分子設計ベンチマーク領域を、整理された参照データセットとともに定義する。
• 力場、半経験的量子化学、DFTなどの物理ベースおよび量子化学ワークフローを用いてターゲット特性を計算する。
• 各タスクで幅広い生成モデル（REINVENT、SMILES-VAE、SELFIES-VAE、MoFlow、SMILES-LSTM-HC、SELFIES-LSTM-HC、GB-GA、JANUS）を評価する。
• 制約のあるリソース意識した評価プロトコルを採用する（最大5,000件の提案、24時間の実行時間、80/20の訓練/テスト分割、5回のリピート）。
• 再現性と拡張性のためのインストール/設定手順とSupporting Informationを提供する。

実験結果

リサーチクエスチョン

• RQ1 材料、医薬品、反応にまたがる現実的な分子設計ベンチマーク全体で、異なる生成モデルはどのように性能を発揮するか。
• RQ2 ベンチマークドメインがモデルの性能と一般化能力にどの程度影響するか。
• RQ3 シンプルな遺伝的アルゴリズムはディープ生成モデルと比較して、ドメインを問わず堅牢な性能を発揮するか。
• RQ4 分子表現（SMILES 対 SELFIES）は設計結果と合成可能性にどのように影響するか。

主な発見

• ベンチマーク領域はモデルの性能に強く影響する；すべてのタスクで支配的な単一モデルは存在しない。
• GB-GA は有機光電変換デバイスのドナータスクで優れており、SMILES-LSTM-HC はアクセプタタスクで最も良い性能を示す。
• 有機発光体では、JANUS、GB-GA、SELFIES-VAE が競争力のあるまたは優れた結果を生み出す；振動子強度のいくつかの改善が観察された。
• タンパク質-リガンドベンチマークでは、すべてのターゲットでトップドッキングスコアを一貫して達成するモデルはない；SELFIES変種は複数ケースでドッキングスコアと SR を改善する。
• 反応基質ベンチマークでは JANUS と GB-GA がデータセット中の最良分子を上回る傾向を示し、VAE モデルは複数の目的で遅れをとる。
• VAE は一般に訓練時間が遅く、単純な方法や GA ベースの方法より一貫して優れていない；MoFlow と REINVENT は訓練とサンプリングがより速いことが多い。