[논문 리뷰] GraphEBM: Molecular Graph Generation with Energy-Based Models

Meng Liu, Keqiang Yan외 2명|arXiv (Cornell University)|2021. 01. 31.

Machine Learning in Materials ScienceMaterials Science인용 수 20

한 줄 요약

GraphEBM는 에너지 기반 모델을 사용하여 분자 그래프 생성을 위한 순열 불변성과 함께, 그래프 신경망을 통해 에너지 함수를 파arameter화함으로써 랑주르 동역학을 통한 훈련과 유연한 목표 지향적 생성이 가능해지며, 분자 성질에 기반한 에너지 점수 조정을 통해 성능을 향상시킵니다. 다양한 벤치마크에서 유효성, 유일성, 신규성 측면에서 최신 기술 수준을 달성하였으며, QM9에서는 100% 유효성과 97.01%의 신규성, ZINC250k에서는 99.96% 유효성과 100%의 신규성을 기록합니다.

ABSTRACT

We note that most existing approaches for molecular graph generation fail to guarantee the intrinsic property of permutation invariance, resulting in unexpected bias in generative models. In this work, we propose GraphEBM to generate molecular graphs using energy-based models. In particular, we parameterize the energy function in a permutation invariant manner, thus making GraphEBM permutation invariant. We apply Langevin dynamics to train the energy function by approximately maximizing likelihood and generate samples with low energies. Furthermore, to generate molecules with a desirable property, we propose a simple yet effective strategy, which pushes down energies with flexible degrees according to the properties of corresponding molecules. Finally, we explore the use of GraphEBM for generating molecules with multiple objectives in a compositional manner. Comprehensive experimental results on random, goal-directed, and compositional generation tasks demonstrate the effectiveness of our proposed method.

연구 동기 및 목표

• 기존 분자 그래프 생성 방법에서 순열 불변성의 부족으로 인한 편향을 해결하기 위해.
• 그래프 신경망을 통한 에너지 함수의 파arameter화를 통해 본질적으로 순열 불변성을 유지하는 새로운 에너지 기반 모델(GraphEBM)을 개발하기 위해.
• 원하는 분자 성질에 기반한 에너지 점수 조정을 통해 목표 지향적 분자 생성을 가능하게 하기 위해 유연한 제어를 제공하기 위해.
• 다중 목표를 동시에 충족하는 분자의 조합적 생성을 탐색하기 위해. 기존 방법에서는 이를 지원하지 못함.
• 랜덤, 목표 지향적, 다중 목표 분자 생성 작업 전반에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 노드 특징 X와 인접 텐서 A를 처리하는 그래프 신경망을 사용하여 에너지 함수 Eθ(X,A)를 파arameter화함으로써 대칭적 집계를 통해 순열 불변성을 보장함.
• 최대 우도 근사화를 위해 랑주르 동역법을 사용하여 에너지 함수를 훈련함. 비정규화된 볼츠만 분포 e^(-Eθ(X,A))에서 샘플링함.
• 목표 분자 성질(예: QED, pLogP)에 기반한 에너지 점수를 낮추는 민첩한 전략을 도입함으로써, 성질 기반 항을 에너지 함수에 추가하여 목표 지향적 생성을 가능하게 함.
• 다양한 성질 기반 에너지 함수를 하나의 복합 에너지 함수로 조합함으로써 조합적 생성을 가능하게 하여, 동시에 여러 목표를 최적화할 수 있도록 함.
• 크기가 다른 분자들 간의 그래프 차원을 표준화하기 위해 가상 노드와 가상 엣지를 사용함으로써 훈련 및 생성 과정에서 구조적 일관성을 유지함.
• 랑주르 동역법의 초기화 지점으로 훈련 세트에 포함된 기존 분자를 활용하여 샘플 품질 향상과 목표 지향적 생성에서 수렴성 향상을 도모함.

실험 결과

연구 질문

• RQ1 에너지 기반 모델을 설계하여 분자 그래프 생성에서 순열 불변성을 유지할 수 있는가, 이를 통해 노드 순서에 기인한 편향을 제거할 수 있는가?
• RQ2 랑주르 동역법이 분자 그래프 생성을 위한 에너지 기반 모델을 효과적으로 훈련시킬 수 있는가, 높은 유효성과 신규성을 유지할 수 있는가?
• RQ3 에너지 함수를 수정하여 목표 성질에 영향을 주는 정도를 조절할 수 있는 민감한 성질 지향적 생성이 가능한가?
• RQ4 GraphEBM는 기존 방법이 구현하지 못한 다중 목적을 동시에 충족하는 분자의 조합적 생성을 수행할 수 있는가?
• RQ5 다양한 분자 생성 벤치마크에서 유효성, 유일성, 신규성 측면에서 최신 기술 수준의 모델들과 비교해 볼 때 GraphEBM의 성능은 어떠한가?

주요 결과

• QM9 데이터셋에서 GraphEBM는 100.00% 유효성, 97.90% 유일성, 97.01% 신규성을 기록하며, 모든 지표에서 기존 방법을 초월함.
• ZINC250k 데이터셋에서 GraphEBM는 99.96% 유효성, 98.79% 유일성, 100.00% 신규성을 확보하여 높은 품질의 생성을 보이며 근사 완벽한 유효성과 완전한 신규성을 입증함.
• QED를 위한 목표 지향적 생성에서 GraphEBM는 QED 점수가 최대 0.92에 이르는 새로운 분자를 발견하여 기준 방법보다 뚜렷이 향상됨.
• Tanimoto 유사도 ≥0.8 조건 하에서의 제약 있는 성질 최적화에서, GraphEBM는 초기 분자와의 구조적 유사성을 유지하면서도 개선된 pLogP 점수를 가진 분자를 성공적으로 생성함.
• 다양한 성질 기반 에너지 함수를 조합하여 복합 에너지 함수를 구성함으로써 GraphEBM는 동시에 여러 목표를 충족하는 분자를 생성할 수 있으며, 이는 이전 접근법에서 부재했던 능력임.
• 생성 과정의 시각화 결과, GraphEBM가 반복적인 랑주르 샘플링을 통해 의미 있는 분자 구조를 학습하고 있음을 확인하였으며, 안정적인 수렴과 타당한 화학적 연결성을 보임.