[論文レビュー] Fréchet ChemblNet Distance: A metric for generative models for molecules.

Kristina Preuer, Philipp Renz+3 more|arXiv (Cornell University)|Mar 26, 2018

Computational Drug Discovery Methods参考文献 15被引用数 4

ひとこと要約

本論文では、創薬活性予測タスクで事前学習された深層ニューラルネットワークであるChemblNetの直前層を活用することで、生成モデルの分子設計評価のための新しい指標であるFréchet ChemblNet Distance（FCD）を導入する。FCDは、生成された分子と実際の分子との間の化学的・生物学的類似性および多様性を評価し、一貫性のないかつ簡単にいじれる従来の指標の代替として、信頼性の高い統合的指標を提供する。

ABSTRACT

The new wave of successful generative models in machine learning has increased the interest in deep learning driven de novo drug design. However, assessing the performance of such generative models is notoriously difficult. Metrics that are typically used to assess the performance of such generative models are the percentage of chemically valid molecules or the similarity to real molecules in terms of particular descriptors, such as the partition coefficient (logP) or druglikeness. However, method comparison is difficult because of the inconsistent use of evaluation metrics, the necessity for multiple metrics, and the fact that some of these measures can easily be tricked by simple rule-based systems. We propose a novel distance measure between two sets of molecules, called Fr\'echet ChemblNet distance (FCD), that can be used as an evaluation metric for generative models. The FCD is similar to a recently established performance metric for comparing image generation methods, the Fr\'echet Inception Distance (FID). Whereas the FID uses one of the hidden layers of InceptionNet, the FCD utilizes the penultimate layer of a deep neural network called ChemblNet, which was trained to predict drug activities. Thus, the FCD metric takes into account chemically and biologically relevant information about molecules, and also measures the diversity of the set via the distribution of generated molecules. The FCD's advantage over previous metrics is that it can detect if generated molecules are a) diverse and have similar b) chemical and c) biological properties as real molecules. We further provide an easy-to-use implementation that only requires the SMILES representation of the generated molecules as input to calculate the FCD. Implementations are available at: this https URL

研究の動機と目的

• 新薬設計における生成モデルの評価に用いられる一貫性があり信頼性の高い指標の欠如を解消すること。
• 妥当性、logP、またはドラッグライクネスといった従来の指標の限界を克服すること。これらの指標は容易に操作可能であり、生物学的関連性に欠ける。
• 分子の多様性と実際の分子との類似性（化学的および生物学的空間において）を両方とも捉える、単一の包括的指標を開発すること。
• 生成された分子のSMILES入力のみを必要とする、実用的でアクセス可能な評価ツールを提供すること。

提案手法

• FCD指標は、ChemblNetの直前層からの潜在表現の多変量ガウス分布間のFréchet距離から導出される。
• ChemblNetは、薬物活性予測タスクで事前学習された深層ニューラルネットワークであり、生物学的知見を反映した分子埋め込みを提供する。
• 実際の分子および生成された分子の潜在ベクトルは、ChemblNetの直前層から抽出され、構造的および活性関連の特徴を捉える。
• これらの潜在ベクトルの経験的分布間のFréchet距離が計算され、高次元空間における両セットの類似性が測定される。
• 追加のモデル訓練を必要とせず、生成された分子のSMILES文字列のみに依存して評価が可能である。
• オープンソース実装が提供されており、既存の生成モデルパイプラインへの統合を容易にする。

実験結果

リサーチクエスチョン

• RQ1 単一の指標が、新薬設計における生成された分子の多様性および化学的／生物学的類似性を効果的に評価できるか？
• RQ2 FCDは、妥当性、logP、またはドラッグライクネスといった従来の指標と比較して、分布シフトやモデル障害を検出できるか？
• RQ3 FCDは、手作業で作成された記述子に依存せずに、生成された分子が化学的に妥当で生物学的に関連性があるかどうかをどの程度検出できるか？
• RQ4 FCDは、従来の指標をだませる単純なルールベースの生成戦略に対して、どの程度頑健か？
• RQ5 FCDは、異なるデータセットやアーキテクチャ間で生成モデルを比較するための信頼性の高い統合ベンチマークとして使用できるか？

主な発見

• FCDは、ChemblNetから学習された表現を活用することで、生成された分子の化学的および生物学的関連性を的確に捉える。
• 従来の指標（例：logP や ドラッグライクネス）では見過ごされがちな分布シフトやモデル障害を検出できる。
• 複数の別個の指標に比べ、FCDはより頑健で一貫性のある評価を提供し、単純なルールベースのシステムにだまされるリスクを低減する。
• モデルアーキテクチャーや学習データへのアクセスを必要とせず、生成モデル同士の直接比較が可能である。
• オープンソース実装により、研究者が生成された分子のSMILES文字列のみでFCDを簡単に計算可能となり、再現性と採用促進が向上する。