[논문 리뷰] Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics

Yair Schiff, Vijil Chenthamarakshan외 2명|arXiv (Cornell University)|2020. 10. 18.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

이 논문은 SMILES 문자열로 훈련된 VAE의 잠재공간이 3차원 분자의 위상정보를 얼마나 잘 인코딩하는지 평가하기 위해 지속 호몰로지 메트릭을 사용하는 새로운 평가 프레임워크를 제안한다. 3차원 위상정보가 잠재공간 전반에 걸쳐 일관되고 균일하게 인코딩되고 있음을 입증하며, 훈련 데이터 분포를 초월한 구조적 특징을 포괄하는 데 있어 전통적인 피어프린트 기반 메트릭보다 우수함을 보여준다.

ABSTRACT

Deep generative models are increasingly becoming integral parts of the in silico molecule design pipeline and have dual goals of learning the chemical and structural features that render candidate molecules viable while also being flexible enough to generate novel designs. Specifically, Variational Auto Encoders (VAEs) are generative models in which encoder-decoder network pairs are trained to reconstruct training data distributions in such a way that the latent space of the encoder network is smooth. Therefore, novel candidates can be found by sampling from this latent space. However, the scope of architectures and hyperparameters is vast and choosing the best combination for in silico discovery has important implications for downstream success. Therefore, it is important to develop a principled methodology for distinguishing how well a given generative model is able to learn salient molecular features. In this work, we propose a method for measuring how well the latent space of deep generative models is able to encode structural and chemical features of molecular datasets by correlating latent space metrics with metrics from the field of topological data analysis (TDA). We apply our evaluation methodology to a VAE trained on SMILES strings and show that 3D topology information is consistently encoded throughout the latent space of the model.

연구 동기 및 목표

• 딥 생성 모델이 잠재공간에서 분자의 구조적 및 화학적 특징을 얼마나 잘 인코딩하는지 평가하기 위한 원칙적인 방법을 개발하는 것.
• 1차원 SMILES 문자열로 훈련된 VAE가 분자의 3차원 위상정보를 암묵적으로 학습하고 유지할 수 있는지 평가하는 것.
• 지속 호몰로지 메트릭과 전통적인 피어프린트 기반 메트릭을 비교하여 잠재공간 내 정보 인코딩의 일관성 평가하는 것.
• 훈련 데이터 분포를 초월한 위상적 특징을 유지하는 능력을 기반으로 생성 모델 평가를 위한 벤치마크 제공하는 것.

제안 방법

• 저자들은 RIVET 도구를 사용하여 3차원 원자 좌표와 보조 매개변수(부분 전하, 원자 반지름)로부터 이중 매개변수 지속 호몰로지를 계산하고, 영구 다이어그램을 생성한다.
• 각 분자에 대해 제한된 힐버트 함수를 계산하고, 이러한 함수 간의 ℓ₂ 거리를 위상적 거리 메트릭으로 사용한다.
• VAE의 잠재분포에서 샘플된 4,500개의 유효한 SMILES 복호화 벡터 간의 잠재공간 거리(z 거리)를 계산한다.
• z 거리와 Tanimoto 거리(피어프린트 기반) 및 Restricted Hilbert 함수 상의 ℓ₂ 거리(TDA 기반) 간의 상관관계를 계산한다.
• 거리 박스 내에서 100번의 랜덤 샘플링(각각 400개의 쌍)을 반복하고 결과를 집계하여 탄력성과 일관성 평가한다.
• 훈련 데이터 포인트와 임의로 샘플된 잠재벡터를 모두 평가하여 훈련 분포를 초월한 일반화 능력 평가

실험 결과

연구 질문

• RQ1 SMILES 문자열로 훈련된 VAE의 잠재공간이 3차원 분자의 위상정보를 어느 정도 잘 인코딩하는가?
• RQ2 잠재공간 전반에 걸쳐 z 거리와 위상 메트릭 간 상관관계가 피어프린트 기반 메트릭과 비교해 어떻게 다를까?
• RQ3 훈련 데이터 분포에서 멀리 떨어진 영역을 포함한 잠재공간의 다양한 영역에서 3차원 위상정보의 인코딩이 일관된가?
• RQ4 보조 매개변수(부분 전하 대비 원자 반지름)의 선택이 잠재공간 내 위상 인코딩의 일관성에 영향을 미치는가?

주요 결과

• 훈련 데이터에 대해 z 거리와 Tanimoto 피어프린트 거리 간 상관관계는 강력한 편(중앙값 0.635)이지만, 임의로 샘플된 잠재벡터에서는 상당히 감소함(중앙값 0.377)으로, 부분 구조 정보의 일반화 능력이 떨어짐을 시사한다.
• 반면, z 거리와 Restricted Hilbert 함수 상의 ℓ₂ 거리 간 상관관계는 훈련 데이터 및 임의 샘플 모두에서 높게 유지됨(부분 전하 기준 중앙값 0.503, 반지름 기준 중앙값 0.507)으로, 3차원 위상정보가 균일하게 인코딩됨을 나타낸다.
• 부분 전하와 원자 반지름을 모두 사용한 보조 매개변수에서 TDA 기반 메트릭 간 일관된 상관관계가 유지됨으로써, 잠재공간 내 3차원 위상정보 인코딩의 강건성이 확인된다.
• 결과적으로, 3차원 위상적 구조는 부분 구조 정보보다 더 균일하고 신뢰성 있게 인코딩되어 있으며, 특히 훈련 데이터에서 벗어난 영역에서 더욱 두드러진다.
• 지속 호몰로지 메트릭이 피어프린트 기반 메트릭보다 잠재공간 평가에서 3차원 분자의 위상정보를 더 신뢰성 있고 일관성 있게 대체할 수 있음을 확인함.