[논문 리뷰] Order Matters: Probabilistic Modeling of Node Sequence for Graph Generation

Xiaohong Chen, Han Xu외 3명|arXiv (Cornell University)|2021. 06. 11.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 자동귀납적 그래프 생성 모델에서 노드 순서를 모델링하기 위한 변분 추론 방법을 제안하며, 그래프와 그 생성 순서를 함께 모델링함으로써 정확한 주변부 가능도 추정을 가능하게 한다. 노드 순서에 대한 변분 분포를 학습함으로써 이 방법은 로그 가능도에 대한 더 낮은 변분 하한을 달성하고, 고정되거나 무작위 순서를 사용하는 기존 방법보다 더 높은 품질의 그래프를 생성한다.

ABSTRACT

A graph generative model defines a distribution over graphs. One type of generative model is constructed by autoregressive neural networks, which sequentially add nodes and edges to generate a graph. However, the likelihood of a graph under the autoregressive model is intractable, as there are numerous sequences leading to the given graph; this makes maximum likelihood estimation challenging. Instead, in this work we derive the exact joint probability over the graph and the node ordering of the sequential process. From the joint, we approximately marginalize out the node orderings and compute a lower bound on the log-likelihood using variational inference. We train graph generative models by maximizing this bound, without using the ad-hoc node orderings of previous methods. Our experiments show that the log-likelihood bound is significantly tighter than the bound of previous schemes. Moreover, the models fitted with the proposed algorithm can generate high-quality graphs that match the structures of target graphs not seen during training. We have made our code publicly available at \hyperref[https://github.com/tufts-ml/graph-generation-vi]{https://github.com/tufts-ml/graph-generation-vi}.

연구 동기 및 목표

• 자기귀납적 그래프 생성 모델에서 노드 순서를 통합할 때의 불가능성 문제를 해결하기 위해.
• 그래프 생성에서 노드 시퀀스를 모델링하기 위한 엄밀한 확률적 프레임워크를 제공하기 위해.
• 변분 추론을 통해 정확한 로그 가능도 추정을 가능하게 함으로써 모델 훈련 및 평가를 향상시키기 위해.
• 기존 방법에서 사용하는 부호화된 또는 표준화된 노드 순서에 의존하는 것을 제거하기 위해.
• 데이터 기반의 의미 있는 노드 순서를 학습함으로써 생성된 그래프의 품질을 향상시키기 위해.

제안 방법

• 논문은 그래프 G와 노드 순서 π에 대한 결합 확률 p(G, π)를 유도하며, 그래프의 자동형을 고려한다.
• 기존 그래프에 대해 유력한 순서를 추론할 수 있는 신경망을 학습하는 변분 추론 접근법을 제안한다.
• 훈련 중에 로그 가능도 p(G)에 대한 변분 하한을 최대화함으로써 고정되거나 무작위 순서가 필요한 것을 대체한다.
• 평가를 위해 진짜 로그 가능도를 추정하기 위해 중요도 샘플링을 사용한다.
• 이 방법은 인접 행렬 기반 및 그래프 시퀀스 기반 자동귀납 모델 모두에 적용된다.
• 변분 하한을 사용하여 엔드 투 엔드로 모델을 훈련하며, 변분 분포가 생성 과정을 안내한다.

실험 결과

연구 질문

• RQ1 노드 순서가 관측되지 않을 경우 자동귀납적 그래프 생성 모델에서 그래프의 주변 가능도는 어떻게 추정할 수 있는가?
• RQ2 자기귀납적 생성에서 그래프의 자동형과 그래프 가능도 계산 간의 관계는 무엇인가?
• RQ3 노드 순서에 대한 변분 추론이 기존 방법보다 더 낮은 로그 가능도 하한을 달성할 수 있는가?
• RQ4 데이터 기반의 노드 순서를 학습하는 것이 고정되거나 무작위 순서를 사용하는 것보다 생성된 그래프의 품질을 향상시키는가?
• RQ5 제안된 방법은 로그 가능도를 사용하여 더 정확한 모델 평가 및 비교를 가능하게 하는가?

주요 결과

• 특히 Community-small과 같은 구조적 데이터셋에서, 변분 하한은 기존 하한보다 유의미하게 더 낮다.
• Community-small 데이터셋에서, 모델은 한 간선으로 연결된 커뮤니티 간의 구조를 정확히 포착하지만, BFS 및 균일 기반 방법은 이를 실패한다.
• VI로 훈련된 모델을 사용해 생성된 그래프들은 실제 데이터와 더 유사하며, 도수 분포, 군집 계수, 4노드 오비탈 패턴을 더 잘 유지한다.
• 테스트 세트에서 MMD 점수는 여섯 데이터셋 중 네 개에서 일관된 향상을 보이며, VI 방법은 Enzymes, Yeast, Cora에서 기준선을 능가한다.
• 변분 분포는 인접 행렬의 밴드 행렬과 같은 의미 있는 패턴을 학습하며, 이는 데이터의 구조적 특성과 일치한다.
• 이 방법은 예측 성능을 향상시키고 로그 가능도를 통한 더 신뢰할 수 있는 모델 평가를 가능하게 하지만, 확장성은 여전히 한계이다.