[논문 리뷰] Data-Efficient Graph Grammar Learning for Molecular Generation

Minghao Guo, Veronika Thost외 4명|arXiv (Cornell University)|2022. 03. 15.

Machine Learning in Materials ScienceMaterials Science인용 수 17

한 줄 요약

이 논문은 극소수의 훈련 데이터(최소 11~32개 샘플)에서 해석 가능한 서브스트럭처 수준의 생성 규칙를 자동으로 구성하는 데이터 효율적인 그래프 문법 학습 프레임워크를 제안한다. 분자 다양성, 합성 가능성, 분포 유사성에 동시에 최적화함으로써, 기존의 딥러닝 기반 모델보다 수개의 데이터로도 상태의 성능을 달성한다.

ABSTRACT

The problem of molecular generation has received significant attention recently. Existing methods are typically based on deep neural networks and require training on large datasets with tens of thousands of samples. In practice, however, the size of class-specific chemical datasets is usually limited (e.g., dozens of samples) due to labor-intensive experimentation and data collection. This presents a considerable challenge for the deep learning generative models to comprehensively describe the molecular design space. Another major challenge is to generate only physically synthesizable molecules. This is a non-trivial task for neural network-based generative models since the relevant chemical knowledge can only be extracted and generalized from the limited training data. In this work, we propose a data-efficient generative model that can be learned from datasets with orders of magnitude smaller sizes than common benchmarks. At the heart of this method is a learnable graph grammar that generates molecules from a sequence of production rules. Without any human assistance, these production rules are automatically constructed from training data. Furthermore, additional chemical knowledge can be incorporated in the model by further grammar optimization. Our learned graph grammar yields state-of-the-art results on generating high-quality molecules for three monomer datasets that contain only ${\sim}20$ samples each. Our approach also achieves remarkable performance in a challenging polymer generation task with only $117$ training samples and is competitive against existing methods using $81$k data points. Code is available at https://github.com/gmh14/data_efficient_grammar.

연구 동기 및 목표

• 특수 화학 분야(예: 고분자 단량체)에서 흔히 발생하는 극소수의 훈련 데이터로 인한 분자 생성 문제를 해결하기 위해.
• 대규모 데이터셋이 필요로 하고 종종 유효하지 않거나 합성 불가능한 분자를 생성하는 딥러닝 모델의 한계를 극복하기 위해.
• 기본 결합 valency 규칙을 초월한 복잡한 화학 지식을 통합할 수 있는 데이터 효율적이면서도 문법 기반의 생성 모델을 개발하기 위해.
• 사람이 설계한 규칙 없이 데이터로부터 자동으로 그래프 문법을 구성하면서도, 다양성 및 합성 가능성과 같은 핵심 화학 지표를 최적화하기 위해.
• 특정 클래스의 화학 공간에 대해 훈련 데이터가 부족한 상황에서도 높은 품질의 물리적으로 타당한 분자 생성을 가능하게 하기 위해.

제안 방법

• 모델은 분자 훈련 데이터로부터 서브스트럭처 수준의 변환을 통해 유효한 분자 구조를 생성하는 생산 규칙를 자동으로 발견함으로써 그래프 문법을 학습한다.
• 문법 구성 과정은 다양성, 합성 가능성(RS), 분포 유사성 등의 다중 화학 목표를 함께 최적화하며, 균형 인자 λ를 가진 가중 손실 함수를 사용한다.
• 생산 규칙는 그래프 구조에 대한 미분 가능 최적화를 통해 학습되며, 원자 단위의 추가가 아닌 고리, 기능기 등 복잡한 서브스트럭처를 포착할 수 있다.
• 프레임워크는 엔드 투 엔드 훈련이 가능하며, 추가적인 화학 제약 조건이나 지표를 통합하여 정밀 조정이 가능하여 도메인 특화 지식의 통합이 가능하다.
• 모델은 기호 기반의 규칙 기반 표현 방식을 사용하여 해석 가능성 보장과 함께 기능기 추출 및 분석이 가능하다.
• 모델은 단량체 및 고분자 데이터셋에서 평가되었으며, 117개 샘플의 고분자 데이터셋과 각각 약 20개 샘플의 단량체 데이터셋 3개를 포함한다.

실험 결과

연구 질문

• RQ1 극소수의 화학 데이터(예: 11~32개 샘플)에서 인간이 설계한 규칙 없이 그래프 문법을 자동으로 구성할 수 있는가?
• RQ2 훈련 데이터가 극도로 제한된 상황에서, 데이터 효율적인 문법 기반 모델이 딥러닝 기반 모델 대비 얼마나 잘 성능을 내는가?
• RQ3 문법 구성 과정이 구조적 타당성을 유지하면서도 다양성 및 합성 가능성과 같은 복잡한 화학 지표를 효과적으로 최적화할 수 있는가?
• RQ4 학습 데이터에 존재하지 않는 새로운 물리적으로 타당한 분자를 얼마나 잘 일반화하여 생성할 수 있는가?
• RQ5 다양성과 합성 가능성 등의 다양한 최적화 목표 간의 균형 조정이 생성된 분자의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 각각 약 20개의 훈련 샘플만을 사용한 세 개의 단량체 데이터셋에서 최고 성능을 달성하였으며, 기존의 문법 기반 및 딥러닝 모델보다 샘플 품질과 분포 유사성 측면에서 뛰어난 성능을 보였다.
• 117개의 훈련 샘플로 구성된 도전적인 고분자 생성 작업에서, 81,000개의 데이터 포인트로 훈련된 기존 방법들과 경쟁 가능한 성능을 달성하였다.
• 훈련 데이터에 존재하지 않는 새로운 복잡한 분자, 예를 들어 사이클로옥테인을 생성함으로써 강력한 일반화 능력과 구조적 창의성을 입증하였다.
• 생성된 분자의 카프너 거리가 HierVAE와 같은 강력한 기준 모델보다 두 배 높아, 극소수의 데이터에도 불구하고 분포 유사성 측면에서 뛰어난 정렬 성능을 보였다.
• 균형 인자 λ는 다양성과 합성 가능성 간의 트레이드오프를 성공적으로 제어하였으며, λ₁=1, λ₂=2 조합에서 균형 잡힌 성능을 달성하였다.
• 각 단량체 클래스의 특징적인 기능기(예: 이소시아네이트)가 공통 생산 규칙로 자동으로 식별되어, 모델의 해석 가능성과 화학 지식과의 일치성을 확인하였다.