[논문 리뷰] GraphNVP: an Invertible Flow-based Model for Generating Molecular Graphs

Kaushalya Madhawa, Katsuhiko Ishiguro외 2명|arXiv (Cornell University)|2019. 09. 25.

Machine Learning in Materials Science참고 문헌 25인용 수 47

한 줄 요약

GraphNVP는 그래프 생성을 인접성 텐서와 노드 속성 생성으로 분해함으로써 분자 그래프 생성을 위한 처음으로 역가능한 정규화 흐름 기반 모델이다. 정확한 우도 최적화와 더불어 유효한 분자를 다양하게 효율적으로 생성할 수 있으며, 성질 지향 생성에 유용한 분리된 잠재 공간을 제공한다.

ABSTRACT

We propose GraphNVP, the first invertible, normalizing flow-based molecular graph generation model. We decompose the generation of a graph into two steps: generation of (i) an adjacency tensor and (ii) node attributes. This decomposition yields the exact likelihood maximization on graph-structured data, combined with two novel reversible flows. We empirically demonstrate that our model efficiently generates valid molecular graphs with almost no duplicated molecules. In addition, we observe that the learned latent space can be used to generate molecules with desired chemical properties.

연구 동기 및 목표

• 정확한 우도 추정이 가능한 정규화 흐름 기반의 분자 그래프 생성 모델을 개발하는 것.
• 그래프 생성을 두 개의 역가능한 단계로 분해하는 것: 인접성 텐서 생성과 노드 속성 생성.
• 최소한의 중복을 동반하면서 효율적이고 다양한 유효한 분자 그래프 생성을 가능하게 하는 것.
• 성질 지향 분자 생성을 지원하는 분리된 잠재 공간을 학습하는 것.

제안 방법

• 모델는 그래프 생성을 두 개의 역가능한 흐름으로 분해하는 새로운 방법을 사용한다: 하나는 인접성 텐서에 대해, 다른 하나는 노드 속성에 대해.
• 정규화 흐름 프레임워크 내에서 커플링 레이어를 적용하여 역가능성과 정확한 우도 계산을 보장한다.
• 인접성 텐서 흐름은 인접 행렬의 상부 삼각행렬에 대한 역가능한 변환을 사용하여 그래프 구조를 모델링한다.
• 노드 속성 생성은 별도의 역가능한 흐름을 통해 모델링되며, 역가능성을 유지한다.
• 정규화 흐름 이론을 사용하여 분자 그래프의 정확한 로그 우도를 최대화한다.
• 전체 과정은 미분 가능하고 엔드 투 엔드로 훈련 가능하여 기울기 기반 최적화가 가능하다.

실험 결과

연구 질문

• RQ1 정확한 우도 추정이 가능한 역가능한 정규화 흐름이 분자 그래프 생성에 효과적으로 적용될 수 있는가?
• RQ2 그래프 생성을 인접성과 노드 속성 흐름으로 분해하는 것이 생성 품질과 다양성 향상에 기여하는가?
• RQ3 GraphNVP가 학습한 잠재 공간을 사용하여 원하는 화학적 성질을 가진 분자를 생성할 수 있는가?
• RQ4 기존의 생성 모델과 비교할 때 GraphNVP는 유효성과 중복 비율 측면에서 어떻게 성능을 내는가?

주요 결과

• GraphNVP는 거의 0%의 중복을 보이며, 생성된 분포의 높은 다양성을 나타낸다.
• 모델는 그래프 구조 데이터에서 정확한 우도 최적화를 달성한다. 이는 자동회귀 또는 변분 모델에 비해 핵심적인 이점이다.
• 학습된 잠재 공간은 효과적인 성질 지향 생성을 가능하게 하여 원하는 화학적 성질 제어가 가능하다.
• 후처리나 거부 샘플링 없이도 유효한 분자 그래프를 효율적으로 생성한다.