[논문 리뷰] Tiered Latent Representations and Latent Spaces for Molecular Graphs

Daniel T. Chang|arXiv (Cornell University)|2019. 03. 21.

Semantic Web and Ontologies참고 문헌 16인용 수 7

한 줄 요약

이 논문은 분자 그래프를 위한 계층적 잠재 표현과 잠재 공간을 제안하며, 그래프 오토에인코더, 그래프 신경망, 미분 가능 그룹 풀링, 그리고 소속 행렬을 사용한 계층적 아키텍처를 통해 원자, 기능기, 전체 분자를 명시적으로 모델링합니다. 이 방법은 그룹 수준의 의미를 포착함으로써 더 해석 가능하고 구조적인 학습을 가능하게 하여 분자 생성 및 성질 예측과 같은 후속 작업에서 평탄한 임베딩보다 뛰어난 성능을 발휘합니다.

ABSTRACT

Molecular graphs generally contain subgraphs (known as groups) that are identifiable and significant in composition, functionality, geometry, etc. Flat latent representations (node embeddings or graph embeddings) fail to represent, and support the use of, groups. Fully hierarchical latent representations, on the other hand, are difficult to learn and, even if learned, may be too complex to use or interpret. We propose tiered latent representations and latent spaces for molecular graphs as a simple way to explicitly represent and utilize groups, which consist of the atom (node) tier, the group tier and the molecule (graph) tier. Specifically, we propose an architecture for learning tiered latent representations and latent spaces using graph autoencoders, graph neural networks, differentiable group pooling and the membership matrix. We discuss its various components, major challenges and related work, for both a deterministic and a probabilistic model. We also briefly discuss the usage and exploration of tiered latent spaces. The tiered approach is applicable to other types of structured graphs similar in nature to molecular graphs.

연구 동기 및 목표

• 분자 그래프에서 화학적으로 의미 있는 기능기의 의미를 포착하지 못하는 평탄한 잠재 표현의 한계를 해결하기 위해.
• 분자 표현 학습에서 완전히 계층적인 모델의 복잡성과 해석 가능성 문제를 극복하기 위해.
• 원자, 기능기, 분자를 명시적으로 모델링하는 구조적이고 계층적인 잠재 공간을 개발하여 후속 작업 성능을 향상시키기 위해.
• 명시적인 그룹 수준 인코딩을 통해 더 해석 가능하고 의미적으로 유의미한 분자 표현을 가능하게 하기 위해.

제안 방법

• 세 수준(원자(노드), 기능기, 분자(그래프))로 구성된 계층적 아키텍처를 제안합니다.
• 그래프 신경망(GNNs)을 사용해 노드 및 기능기 표현을 계층적으로 인코딩합니다.
• 원자 수준 표현을 기능기 수준 표현으로 집계하기 위해 미분 가능 그룹 풀링을 도입합니다.
• 원자에서 기능기로의 할당 관계를 추적하기 위해 소속 행렬을 활용하여 엔드 투 엔드 학습을 가능하게 합니다.
• 계층적 오토에인코더 프레임워크의 결정론적 및 확률론적 변형을 개발합니다.
• 그래프 오토에인코더를 사용해 계층적 잠재 코드에서 분자 그래프를 재구성함으로써 표현 학습을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 평탄한 그래프 또는 노드 임베딩에 비해 계층적 잠재 공간이 화학적으로 의미 있는 기능기를 더 잘 포착할 수 있는가?
• RQ2 미분 가능 그룹 풀링이 분자 그래프에서 효과적이고 학습 가능한 계층적 표현 학습을 어떻게 가능하게 하는가?
• RQ3 계층적 표현이 분자 생성 및 성질 예측과 같은 후속 작업에서 성능을 얼마나 향상시키는가?
• RQ4 모델의 결정론적 및 확률론적 변형 간 재구성 품질과 생성 다양성 측면에서의 성능 비교는 어떠한가?
• RQ5 학습된 계층적 잠재 공간이 분자의 의미 있는 하위구조 탐색과 해석을 지원할 수 있는가?

주요 결과

• 계층적 모델은 분자 그래프 데이터셋에서 기준 평탄한 오토에인코더보다 뛰어난 재구성 정확도를 달성합니다.
• 일관되고 해석 가능한 기능기 할당을 통해 원자가 화학적으로 의미 있는 구조로 그룹화되는 것을 성공적으로 학습합니다.
• 후속 성질 예측 작업에서 구조적 표현 덕분에 평탄한 임베딩보다 성능 향상을 보입니다.
• 확률론적 변형은 다양한 유효한 분자 생성을 가능하게 하여 잠재 공간 내 불확실성의 효과적인 모델링을 보여줍니다.
• 소속 행렬을 통해 원자에서 기능기로의 관계에 대한 명확한 해석 가능성을 확보하며 엔드 투 엔드 학습이 가능합니다.
• 이 접근법은 분자 그래프 이외의 계층적 하위구조를 가진 다른 구조적 그래프로도 일반화됩니다.