[論文レビュー] Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics

Yair Schiff, Vijil Chenthamarakshan+2 more|arXiv (Cornell University)|Oct 18, 2020

Cell Image Analysis Techniques被引用数 5

ひとこと要約

本論文は、SMILES文字列で訓練されたVAEの潜在空間が3次元分子トポロジーをどの程度正しくエンコードしているかを評価するための新規な評価フレームワークを提案する。3次元トポロジー情報が潜在空間全体にわたり一貫的かつ均一にエンコードされていることが示され、訓練データの分布外の構造的特徴を捉える点で、従来のフィンガープrintベースの指標を上回っている。

ABSTRACT

Deep generative models are increasingly becoming integral parts of the in silico molecule design pipeline and have dual goals of learning the chemical and structural features that render candidate molecules viable while also being flexible enough to generate novel designs. Specifically, Variational Auto Encoders (VAEs) are generative models in which encoder-decoder network pairs are trained to reconstruct training data distributions in such a way that the latent space of the encoder network is smooth. Therefore, novel candidates can be found by sampling from this latent space. However, the scope of architectures and hyperparameters is vast and choosing the best combination for in silico discovery has important implications for downstream success. Therefore, it is important to develop a principled methodology for distinguishing how well a given generative model is able to learn salient molecular features. In this work, we propose a method for measuring how well the latent space of deep generative models is able to encode structural and chemical features of molecular datasets by correlating latent space metrics with metrics from the field of topological data analysis (TDA). We apply our evaluation methodology to a VAE trained on SMILES strings and show that 3D topology information is consistently encoded throughout the latent space of the model.

研究の動機と目的

• 深層生成モデルの潜在空間に、分子の構造的・化学的特徴がどの程度適切にエンコードされているかを評価するための原則的かつ体系的な手法を開発すること。
• 1次元のSMILES文字列で訓練されたVAEが、分子の3次元トポロジー情報を暗黙的かつ保存的に学習できるかどうかを評価すること。
• 持久ホモロジー指標と従来のフィンガープリントベースの指標を用いた潜在空間における情報エンコードの一貫性を比較すること。
• 生成モデルが訓練データの分布外のトポロジカル特徴をどの程度保持できるかを評価するためのベンチマークを提供すること。

提案手法

• 著者らは、3次元原子座標と補助パラメータ（部分電荷、原子半径）から2パラメータの持久ホモロジーを計算し、RIVETツールを用いて持久図を生成した。
• 各分子について、制限付きヒルベルト関数を計算し、これらの関数間のℓ₂距離をトポロジカル距離指標として用いた。
• VAEの潜在分布から抽出した4,500個の有効なSMILESデコードベクトル間の潜在空間距離（z距離）を計算した。
• z距離とTanimoto距離（フィンガープリントベース）および制限付きヒルベルト関数上のℓ₂距離（TDAベース）との間の相関を計算した。
• 距離の各ビンに対して100回のランダムな400ペアの抽出を繰り返し、結果を統合して妥当性と一貫性を評価した。
• 本手法は、訓練データの点とランダムに抽出された潜在ベクトルの両方を評価し、訓練分布外への一般化能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 SMILES文字列で訓練されたVAEの潜在空間は、3次元分子トポロジーをどの程度エンコードしているか？
• RQ2 潜在空間全体にわたり、z距離とトポロジカル指標との相関は、フィンガープリントベースの指標との相関と比べてどう異なるか？
• RQ3 訓練データの分布から離れた領域を含む、潜在空間の異なる領域においても、3次元トポロジカル特徴のエンコードは一貫しているか？
• RQ4 補助パラメータ（部分電荷 vs. 原子半径）の選択が、潜在空間におけるトポロジカルエンコードの一貫性に影響を与えるか？

主な発見

• 訓練データではz距離とTanimotoフィンガープリント距離との相関は強く（中央値0.635）なるが、ランダムに抽出された潜在ベクトルでは著しく低下する（中央値0.377）ことから、サブ構造情報の一般化が不十分であることが示された。
• 一方、z距離と制限付きヒルベルト関数上のℓ₂距離との相関は、訓練データおよびランダムサンプルの両方で一貫して高く維持される（部分電荷：中央値0.503、原子半径：中央値0.507）ことから、潜在空間全体にわたり3次元トポロジー情報が均一にエンコードされていることが示された。
• 部分電荷と原子半径という異なる補助パラメータにおいても、TDAベースの指標との相関が一貫していることから、潜在空間における3次元トポロジーのエンコードが堅牢であることが確認された。
• 結果から、サブ構造情報よりも3次元トポロジカル構造が、特に訓練データから離れた潜在空間の領域においても、より一貫的かつ信頼性が高い方法でエンコードされていることが明らかになった。
• 本手法により、潜在空間評価において、フィンガープリントベースの指標よりも、持久ホモロジー指標が3次元分子トポロジーをより信頼性高くかつ一貫して代理的に表現できることを特定した。