[논문 리뷰] GraphVAE: Towards Generation of Small Graphs Using Variational Autoencoders

Martin Simonovsky, Nikos Komodakis|arXiv (Cornell University)|2018. 02. 09.

Machine Learning in Materials Science참고 문헌 34인용 수 132

한 줄 요약

GraphVAE는 확률적 그래프를 출력하는 변분 자동인코더를 도입하여 소형 그래프를 시퀀스 디코딩 없이도 생성할 수 있도록 고정된 최대 크기의 완전 연결 그래프를 디코딩합니다(예: 분자).

ABSTRACT

Deep learning on graphs has become a popular research topic with many applications. However, past work has concentrated on learning graph embedding tasks, which is in contrast with advances in generative models for images and text. Is it possible to transfer this progress to the domain of graphs? We propose to sidestep hurdles associated with linearization of such discrete structures by having a decoder output a probabilistic fully-connected graph of a predefined maximum size directly at once. Our method is formulated as a variational autoencoder. We evaluate on the challenging task of molecule generation.

연구 동기 및 목표

• 연속 코드로부터 직접 그래프를 생성하는 것을 시퀀스/선형화가 아닌 방식으로 동기화하는 것을 목표로 한다.
• 최대 크기가 미리 정의된 그래프를 출력하는 확률적 완전 연결 그래프 디코더를 제안한다.
• 그래프 매칭 기반 재구성 손실로 모델을 변분 자동인코더로 학습한다.
• 분자 생성에의 적용 가능성을 입증하고 속성 제약 조건을 가진 조건부 생성을 평가한다.

제안 방법

• Encoder q_phi(z|G) 및 Decoder p_theta(G|z)로 VAE 프레임워크를 사용한다.
• Decoder는 k 노드에서 확률적 그래프 (ㅏA, ㅏE, ㅏF)를 출력하며, 독립적인 노드/엣지 존재 및 속성 변수들을 가진다.
• 재구성 손실은 G를 ㅗcG와 정렬하기 위한 근사 그래프 매칭을 통해 계산되며 노드 간 확률적 할당 X를 포함한다.
• 그래프 매칭은 Max-Pooling Matching (MPM)을 사용하고 이어서 Hungarian 이산화를 통해 X를 얻는다.
• 재구성 항목에는 p(A'|z), p(F|z), p(E|z)와 교차 엔트로피 기반 우도 및 가중 합이 포함된다.
• 인코더는 간선 조건 그래프 컨볼루션(ECC) 및 변분 샘플링(재매개화)을 사용한다.
• 선택적으로 라벨 y로 인코더와 디코더를 조건화하여 z|y 표현을 얻고 해리된(disentangled) 표현을 얻는다.

실험 결과

연구 질문

• RQ1 고정된 최대 크기의 확률적 그래프를 직접 출력하는 디코더가 명시적 시퀀스 구성 없이도 소형 그래프를 효과적으로 생성할 수 있는가?
• RQ2 그람나누/문자 기반의 기준선과 비교하여 유효성, 신규성, 다양성 측면에서 GraphVAE가 소형 분자 생성에서 어떻게 수행하는가?
• RQ3 보조 라벨에 조건화하는 것이 생성 그래프의 품질과 제어 가능성에 어떤 영향을 미치는가?
• RQ4 소형 그래프 구간에서 그래프 매칭 기반 재구성 손실과 전체 학습의 확장성은 얼마나 큰 그래프까지 가능하게 하는가?
• RQ5 암시적 노드 확률 보정이 생성 품질을 향상시키거나 다양성을 희생시키는가?

주요 결과

• GraphVAE는 QM9에서 화학적으로 유효한 분자 샘플을 의미 있는 비율로 달성하며, 한계가 있지만 ZINC와 같은 더 큰 소형 그래프로의 확장이 가능하다(k=38).
• 조건부 모델은 분자에 대해 합리적인 라벨 준수(예: 올바른 원자 히스토그램)로 분자를 생성할 수 있으며 일부 새로운 그래프에 대한 외삽을 보인다.
• QM9의 무조건/조건부 설정에서 잠재 차원 c가 어느 정도의 시점까지 유효성과 다양성을 향상시키지만 재구성과 신규성 간에 트레이드오프가 존재한다.
• 그래프 매칭은 결정적으로 중요하다: 항등 순열(NoGM)을 사용한 제거 실험은 다양성을 낮추는 반면, 전체 그래프 매칭 방식은 유효성, 정확도, 신규성의 균형을 맞춘다.
• 암시적 노드 확률은 유효성 및 신규성을 향상시킬 수 있지만 변동성을 감소시키고 재구성 손실을 증가시킬 수 있다.
• 기준선과 비교할 때 GVAE는 더 많은 유효 샘플(약 60% 내외)을 생성하는 경향이 있으며 더 다양한 출력이 나타나지만 일부 기준선은 매우 적은 수의 유효 샘플을 생성했다.