[논문 리뷰] Constrained Generation of Semantically Valid Graphs via Regularizing Variational Autoencoders

Tengfei Ma, Jie Chen외 1명|arXiv (Cornell University)|2018. 09. 07.

Bioinformatics and Genomic Networks인용 수 82

한 줄 요약

본 논문은 제약 페널티의 주변화(marginalization)를 통해 그래프 유효성 제약을 도입하는 규제된 VAE 프레임워크를 제시하며, 분자 및 노드 호환 그래프에 대해 의미적으로 유효한 그래프 생성을 더 높은 비율로 가능하게 한다.

ABSTRACT

Deep generative models have achieved remarkable success in various data domains, including images, time series, and natural languages. There remain, however, substantial challenges for combinatorial structures, including graphs. One of the key challenges lies in the difficulty of ensuring semantic validity in context. For examples, in molecular graphs, the number of bonding-electron pairs must not exceed the valence of an atom; whereas in protein interaction networks, two proteins may be connected only when they belong to the same or correlated gene ontology terms. These constraints are not easy to be incorporated into a generative model. In this work, we propose a regularization framework for variational autoencoders as a step toward semantic validity. We focus on the matrix representation of graphs and formulate penalty terms that regularize the output distribution of the decoder to encourage the satisfaction of validity constraints. Experimental results confirm a much higher likelihood of sampling valid graphs in our approach, compared with others reported in the literature.

연구 동기 및 목표

• 깊은 생성 모델을 사용해 의미적으로 유효한 그래프를 생성하는 도전 과제를 제시하고 해결한다.
• 잠재 변수의 주변화를 통해 그래프 유효성 제약을 강제하는 VAE용 규제 프레임워크를 제안한다.
• 분자 데이터셋과 합성된 노드-호환 그래프에서 생성된 그래프의 유효성이 향상됨을 보여준다.
• 규제가 잠재 공간 및 재구성 성능에 미치는 영향을 보여준다.

제안 방법

• 그래프를 노드-레이블 행렬 F와 간선-레이블 텐서 E로 행렬 형태로 표현한다.
• VAE로 p_theta(G|z)를 모델링하고 z에 대해 제약 페널티를 주변화하여 디코더 출력을 정규화한다 (모든 z에 대해 g_i(theta,z)≤0).
• 잠재 사전 p_theta(z) 위에서 제곱 제약들을 적분하여 hat 형태의 제약 항(hats)을 정의하고 이를 규제로 형성한다.
• 단계 함수 g_i(theta,z)_+를 사용하여 위반( g_i>0 )만 페널티를 주고, 몬테카를로 샘플링으로 적분을 근사한다.
• Eq. 7 및 Eq. 8과 함께 -ELBO에 제곱근의 주변화된 제약 페널티에 mu를 곱한 항으로 학습한다.
• 고스트/밸런스 제약(Eq. 9), 연결성(Eq. 10), 노드 호환성(Eq. 11)을 위한 구체적 제약을 형성한다.

실험 결과

연구 질문

• RQ1 정규화된 VAE 프레임워크가 서로 다른 도메인(분자 및 노드-호환 그래프)에 걸쳐 그래프 생성을 의미적으로 유효하게 강제할 수 있는가?
• RQ2 제약 주변화 및 Ramp 기반 페널티가 표준 VAE 대비 유효성, 참신성, 재구성 지표에 어떤 영향을 미치는가?
• RQ3 규제가 잠재 공간 구조와 노이즈 제거/재구성 능력에 미치는 영향은 무엇인가?
• RQ4 제시된 제약이 고스트 노드, 밸런스, 연결성, 호환성 제약을 통해 비분자 그래프에도 일반화되는가?

주요 결과

Method	% Valid	ELBO
QM9 Standard	83.2	-17.3
QM9 Regularized	96.6	-18.5
ZINC Standard	29.6	-46.5
ZINC Regularized	34.9	-47.0
Node-compatible Standard	40.2	-42.5
Node-compatible Regularized	98.4	-51.2

• 규제가 QM9, ZINC 및 노드-호환 데이터셋에서 사전으로부터 생성된 유효한 그래프의 비율을 상당히 증가시킨다.
• QM9에서 유효성은 규화로 83.2%에서 96.6%로 상승하고 (ELBO는 -17.3에서 -18.5로 약간 하락).
• ZINC에서 유효성은 규화로 29.6%에서 34.9%로 상승하고 (ELBO는 -46.5에서 -47.0으로 변화).
• 노드-호환 그래프에서 유효성은 규화로 40.2%에서 98.4%로 상승하고 (ELBO는 -42.5에서 -51.2로 변화).
• 규제된 VAE는 유효성 측면에서 기저선보다 우수합니다(QM9: 96.6% vs GVAE 60.2% 및 CVAE 10.3%; ZINC: 34.9% vs GVAE 7.2% 및 CVAE 0.7%).
• 규제는 의미 있는 노이즈 제거/재구성과 매끄러운 잠재 공간 전이를 가능하게 합니다(잠재 공간 시각화 및 보간이 제시됨).
• 규제는 Perturbations 하에서 재구성이 유효한 그래프로의 확률을 크게 향상시킵니다(표준 VAE: 11.2% 대 규제화: 93.8%).