[논문 리뷰] A Graph VAE and Graph Transformer Approach to Generating Molecular Graphs

Joshua Mitton, Hans Martin Senn외 2명|arXiv (Cornell University)|2021. 04. 09.

Machine Learning in Materials Science인용 수 11

한 줄 요약

이 논문은 그래프 컬러리티 네트워크, 미분 가능 그래프 풀링, 그리고 새로운 노드 인코딩을 갖춘 트랜스포머를 활용하여 노드 및 엣지 특징을 갖는 분자 그래프를 생성하는 새로운 그래프 VAE와 트랜스포머 하이브리드 모델을 제안한다. 이 모델은 QM9 데이터셋에서 유효성, 유일성, 신규성 측면에서 최신 기술 수준의 성능을 달성하면서도 제어 가능한 분자 특성 생성을 위한 분리되고 해석 가능한 잠재 공간을 학습한다.

ABSTRACT

We propose a combination of a variational autoencoder and a transformer based model which fully utilises graph convolutional and graph pooling layers to operate directly on graphs. The transformer model implements a novel node encoding layer, replacing the position encoding typically used in transformers, to create a transformer with no position information that operates on graphs, encoding adjacent node properties into the edge generation process. The proposed model builds on graph generative work operating on graphs with edge features, creating a model that offers improved scalability with the number of nodes in a graph. In addition, our model is capable of learning a disentangled, interpretable latent space that represents graph properties through a mapping between latent variables and graph properties. In experiments we chose a benchmark task of molecular generation, given the importance of both generated node and edge features. Using the QM9 dataset we demonstrate that our model performs strongly across the task of generating valid, unique and novel molecules. Finally, we demonstrate that the model is interpretable by generating molecules controlled by molecular properties, and we then analyse and visualise the learned latent representation.

연구 동기 및 목표

• 노드 및 엣지 특징을 모두 갖는 화학적으로 유효하고, 고유하며, 새로운 분자 그래프를 생성하는 데 도전하는 것.
• 이전의 MLP 기반 접근 방식과 비교해 메모리 복잡도를 O(k²)에서 O(k)로 감소시켜 그래프 생성 모델의 확장성을 향상시키는 것.
• 특정 분자 특성에 대응하는 제어 가능한 생성을 가능하게 하는 분리되고 해석 가능한 잠재 공간을 학습하는 것.
• 트랜스포머의 위치 인코딩을 대체하여 인접한 노드 정보를 통합한 새로운 노드 인코딩을 도입하여 그래프에 종속되지 않는 엣지 예측을 수행하는 것.
• 비싼 그래프 매칭 알고리즘에 의존하지 않고도 분자 생성에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 입력 분자 그래프로부터 c차원의 잠재 표현 z를 생성하기 위해 GraphSAGE 기반 인코더와 DIFFPOOL를 사용한 미분 가능 그래프 풀링을 적용한다.
• 역방향 DIFFPOOL와 GraphSAGE 절차를 이용해 그래프 디코더가 노드 특징을 재구성하며, 잠재 공간에서 표준 정규분포에서 샘플링한다.
• 기존의 MLP를 대체하여 트랜스포머 기반 엣지 예측기 사용하며, 이는 이웃 노드 정보를 통합한 새로운 노드 인코딩을 활용한다.
• 기존의 위치 임베딩을 대체함으로써 트랜스포머가 순서에 영향을 받지 않으면서도 인접한 노드 특징을 통해 구조적 관계를 인코딩할 수 있도록 한다.
• 특정 잠재 차원을 개별 분자 특성에 매핑함으로써 분리된 잠재 공간을 강제함으로써 제어 가능한 생성을 가능하게 한다.
• 디폴트 모멘트 및 ZPVE와 같은 그래프 수준의 특성은 잠재 공간에서 예측되며, 이는 잠재 변수와 화학적 특성 간의 구조적 일치를 보장한다.

실험 결과

연구 질문

• RQ1 그래프 VAE와 트랜스포머의 하이브리드 모델은 노드 및 엣지 특징을 모두 갖는 분자 그래프를 생성하면서도 높은 유효성, 유일성, 신규성을 유지할 수 있는가?
• RQ2 제안된 트랜스포머 내 노드 인코딩은 MLP 기반 접근 방식과 비교해 엣지 예측 성능과 확장성에 어떻게 기여하는가?
• RQ3 이 모델은 얼마나 분리되고 해석 가능한 잠재 공간을 학습하여 특정 특성을 갖는 분자 생성을 제어할 수 있는가?
• RQ4 이 모델은 비싼 그래프 매칭 알고리즘에 의존하지 않고도 분자 생성에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 메모리 복잡도는 그래프 크기에 따라 어떻게 변화하며, 더 큰 분자에 대해 추가 최적화가 가능한가?

주요 결과

• QM9 데이터셋에서 이 모델은 유효성 74.6%, 유일성 22.5%, 신규성 93.9%, 모든 세 가지 지표를 동시에 충족하는 데 15.8%의 성능을 기록하며, 이는 복합 지표에서 이전 모델을 능가한다.
• MLP 기반 그래프 생성 방식과 비교해 메모리 복잡도를 O(k²)에서 O(k)로 감소시켜 대규모 그래프에 대한 확장성 향상에 기여한다.
• 분리된 잠재 공간 덕분에 일정 간격으로 설정된 잠재 벡터를 통해 디폴트 모멘트가 점진적으로 변화하는 것을 통해 원하는 특성을 갖는 분자 생성이 가능함을 입증한다.
• 시각화 결과는 특정 잠재 차원이 디폴트 모멘트(μ) 및 제로점 진동 에너지(ZPVE)와 같은 특정 분자 특성에 대응함을 확인하여 해석 가능성의 타당성을 검증한다.
• MolGAN 및 GraphVAE와 비교해 여러 지표에서 뛰어난 성능을 보이며, 한 두 가지 지표에서 약간 뒤처져도 전체적으로 열등하지 않음을 입증한다.
• 트랜스포머에 새로운 노드 인코딩을 도입함으로써 위치에 대한 편향 없이 효과적인 엣지 예측이 가능해져 그래프 구조 데이터에 대한 일반화 능력이 향상된다.