[논문 리뷰] Fréchet ChemblNet Distance: A metric for generative models for molecules.

Kristina Preuer, Philipp Renz외 3명|arXiv (Cornell University)|2018. 03. 26.

Computational Drug Discovery Methods참고 문헌 15인용 수 4

한 줄 요약

이 논문은 약물 설계에서 생성 모델을 평가하기 위해 ChemblNet의 전처리층을 활용하여 새로운 메트릭인 프레셰 크멜넷 거리(Fréchet ChemblNet Distance, FCD)를 소개한다. FCD는 생성된 분자의 화학적·생물학적 유사성과 다양성을 실분자들과 비교하여 평가하며, 일관성 없고 쉽게 조작 가능한 기존 메트릭들에 대한 강력하고 통합된 대안을 제공한다.

ABSTRACT

The new wave of successful generative models in machine learning has increased the interest in deep learning driven de novo drug design. However, assessing the performance of such generative models is notoriously difficult. Metrics that are typically used to assess the performance of such generative models are the percentage of chemically valid molecules or the similarity to real molecules in terms of particular descriptors, such as the partition coefficient (logP) or druglikeness. However, method comparison is difficult because of the inconsistent use of evaluation metrics, the necessity for multiple metrics, and the fact that some of these measures can easily be tricked by simple rule-based systems. We propose a novel distance measure between two sets of molecules, called Fr\'echet ChemblNet distance (FCD), that can be used as an evaluation metric for generative models. The FCD is similar to a recently established performance metric for comparing image generation methods, the Fr\'echet Inception Distance (FID). Whereas the FID uses one of the hidden layers of InceptionNet, the FCD utilizes the penultimate layer of a deep neural network called ChemblNet, which was trained to predict drug activities. Thus, the FCD metric takes into account chemically and biologically relevant information about molecules, and also measures the diversity of the set via the distribution of generated molecules. The FCD's advantage over previous metrics is that it can detect if generated molecules are a) diverse and have similar b) chemical and c) biological properties as real molecules. We further provide an easy-to-use implementation that only requires the SMILES representation of the generated molecules as input to calculate the FCD. Implementations are available at: this https URL

연구 동기 및 목표

• 새로운 약물 설계에서 생성 모델을 평가하는 데 있어 일관성 있고 신뢰할 수 있는 메트릭의 부족을 해결하기 위해.
• 유효성, logP, 약물 유사성과 같은 기존 메트릭의 한계를 극복하기 위해, 이는 쉽게 조작 가능하고 생물학적 관련성이 부족하기 때문이다.
• 화학적·생물학적 공간에서 실분자와의 유사성과 분자 다양성을 동시에 포괄하는 단일 종합 메트릭을 개발하기 위해.
• 생성된 분자의 SMILES 입력만으로도 사용 가능한 실용적이고 접근성 있는 평가 도구를 제공하기 위해.

제안 방법

• FCD 메트릭은 ChemblNet의 전처리층에서 유도된 잠재 표현의 다변량 정규분포 간 프레셰 거리에서 유도된다.
• ChemblNet는 약물 활성 예측 작업에 사전 훈련된 딥 네트워크로, 생물학적으로 정보가 반영된 분자 임베딩을 제공한다.
• 실분자와 생성된 분자의 잠재 벡터는 ChemblNet의 전처리층에서 추출되며, 이는 구조적 특성과 활성 관련 특성을 모두 포착한다.
• 이러한 잠재 벡터의 경험적 분포 간 프레셰 거리를 계산하여, 고차원 공간에서 두 집합 간의 유사성을 측정한다.
• 추가적인 모델 훈련이 필요 없이, 생성된 분자의 SMILES 문자열만으로도 평가가 가능하다.
• 오픈소스 구현체가 제공되어 기존 생성 모델 파ip라인에 쉽게 통합하고 활용할 수 있다.

실험 결과

연구 질문

• RQ1 단일 메트릭이 새로운 약물 설계에서 생성된 분자의 다양성과 화학·생물학적 유사성을 효과적으로 평가할 수 있는가?
• RQ2 FCD는 기존 메트릭(예: 유효성, logP, 약물 유사성)과 비교해 분포 이탈과 모델 실패를 얼마나 잘 탐지하는가?
• RQ3 손으로 만든 기술적 특성에 의존하지 않고, 생성된 분자가 화학적으로 타당하고 생물학적으로 관련성이 있는지 FCD가 얼마나 잘 탐지할 수 있는가?
• RQ4 간단한 규칙 기반 생성 전략이 기존 메트릭을 속일 수 있는 상황에서 FCD는 얼마나 강인한가?
• RQ5 FCD는 다양한 데이터셋과 아키텍처 간 생성 모델을 비교하기 위한 신뢰할 수 있는 통합 벤치마크로 사용될 수 있는가?

주요 결과

• FCD는 ChemblNet에서 학습된 표현을 활용하여 생성된 분자의 화학적·생물학적 관련성을 효과적으로 포착한다.
• 기존 메트릭(예: logP 또는 약물 유사성)이 자주 간과하는 분포 이탈과 모델 실패를 탐지할 수 있다.
• 다양한 메트릭을 병행 사용하는 것보다 FCD는 더 강력하고 일관된 평가를 제공하여, 단순한 규칙 기반 시스템에 의해 속임을 당할 위험을 줄인다.
• 모델 아키텍처나 훈련 데이터에 대한 접근이 없이도 생성 모델 간 직접 비교가 가능하다.
• 오픈소스 구현체 덕분에 연구자들은 SMILES 문자열만으로도 쉽게 FCD를 계산할 수 있어 재현성과 보급성이 향상된다.