[논문 리뷰] FastFlows: Flow-Based Models for Molecular Graph Generation

Nathan C. Frey, Vijay Gadepally외 1명|arXiv (Cornell University)|2022. 01. 28.

Machine Learning in Materials Science인용 수 16

한 줄 요약

FastFlows는 화학적 타당성을 보장하는 SELFIES 인코딩을 사용하는 정규화 흐름 기반 생성 모델로, 초고속 샘플링(초당 24,000개 이상의 분자)을 가능하게 하여 단지 100개의 학습 분자로도 높은 타당성, 신규성, 유일성을 달성한다. 이 프레임워크는 약물성, 합성 가능성, 복잡성 등의 다중 목적 최적화를 지원하여 파레토 최적 후보를 효율적으로 식별한다.

ABSTRACT

We propose a framework using normalizing-flow based models, SELF-Referencing Embedded Strings, and multi-objective optimization that efficiently generates small molecules. With an initial training set of only 100 small molecules, FastFlows generates thousands of chemically valid molecules in seconds. Because of the efficient sampling, substructure filters can be applied as desired to eliminate compounds with unreasonable moieties. Using easily computable and learned metrics for druglikeness, synthetic accessibility, and synthetic complexity, we perform a multi-objective optimization to demonstrate how FastFlows functions in a high-throughput virtual screening context. Our model is significantly simpler and easier to train than autoregressive molecular generative models, and enables fast generation and identification of druglike, synthesizable molecules.

연구 동기 및 목표

• 자기회귀 모델의 학습 불안정성과 느린 샘플링 문제를 피하면서도 데이터 효율적인 소분자 설계를 위한 빠른 생성 모델을 개발한다.
• 후처리 보정 없이도 화학적 타당성을 보장하기 위해 문법에 기반한 분자 표현인 SELFIES를 사용한다.
• 빠른 샘플링과 서브스트럭처 필터링, 다중 목적 최적화를 결합하여 고속 가상 스크리닝을 가능하게 한다.
• 정규화 흐름이 저자료 환경에서 타겟 화학적 공간 탐색에 적용 가능한지를 입증한다.
• 약물성, 합성 가능성, 복잡성 간의 균형을 고려한 파레토 최적 분자를 식별한다.

제안 방법

• 모델는 표준 정규 분포를 기반으로 하는 잠재 공간에서 목표 분자 분포로 매핑하기 위해 Real NVP 변환을 사용하는 정규화 흐름(NFs)을 사용한다.
• 분자는 화학 결합 규칙과价수 규칙을 강제로 지키는 SELFIES 문자열로 표현되며, 후처리 보정 없이도 문법적·의미적 타당성을 보장한다.
• SELFIES 문자열은 원핫 인코딩되며, 균일한 노이즈를 추가하여 연속적인 학습을 가능하게 하되, floor 연산을 통해 정확한 복원이 보장된다.
• 흐름 아키텍처는 32개의 레이어, 레이어당 8개의 잔여 블록, 체스보드 마스킹을 사용하여 효율적이고 병렬 처리 가능한 샘플링을 실현한다.
• 생성 후 서브스트럭처 필터를 적용하여 바람직하지 않은 구조를 제거하고, QED, 합성 가능성(SA), 합성 복잡성(ScScore) 등의 지표를 계산하여 다중 목적 최적화를 수행한다.
• 지배성 검사를 통해 파레토 경계를 식별하여 다수의 목적에서 지배당하지 않는 분자를 선별한다.

실험 결과

연구 질문

• RQ1 100개의 분자로만 학습된 정규화 흐름이 대규모로 화학적으로 타당하고, 새로운, 고유한 분자를 생성할 수 있는가?
• RQ2 SELFIES 표현이 흐름 기반 분자 생성에서 후처리 타당성 보정이 필요 없도록 할 수 있는가?
• RQ3 저자료 환경에서 고품질 분포를 유지하면서도 흐름 기반 모델이 얼마나 빠르게 분자를 샘플링할 수 있는가?
• RQ4 약물성, 합성 가능성, 복잡성에 대한 다중 목적 최적화가 높은 잠재력을 지닌 후보를 효율적으로 식별할 수 있는가?
• RQ5 ChEMBL과 같은 고차원 화학적 공간에 적용했을 때 정규화 흐름의 계산적 및 아키텍처적 제약은 무엇인가?

주요 결과

• QM9에서 훈련된 FastFlows는 분자 초당 24,000개 이상을 생성하여 극도로 높은 샘플링 효율성을 입증했다.
• 단지 100개의 학습 분자로도 SELFIES 인코딩 덕분에 후처리 보정 없이도 높은 타당성, 신규성, 유일성을 달성했다.
• 서브스트럭처 필터링과 다중 목적 최적화를 거친 후 QM9 실험에서 파레토 경계 후보는 2,000개 이상에서 단 3개의 분자로 감소했다.
• ChEMBL에서는 분자 초당 481개를 생성하여 차원 수가 증가함에도 불구하고 더 큰, 더 복잡한 분자에 대한 확장성을 입증했다.
• 기존 지표인 QED, SA, SCScore를 사용하여 모델 성능을 검증했으며, 이 지표들이 모델 품질과 관련이 있으며 파레토 최적화에 유용하다는 것이 확인되었다.
• 높은 속도에도 불구하고 고차원 화학적 공간에서 많은 이항 변환을 포함하는 깊은 아키텍처가 여전히 계산적 병목 현상이 된다.