[논문 리뷰] On Evaluation Metrics for Graph Generative Models

Rylee Thompson, B. A. Knyazev외 3명|arXiv (Cornell University)|2022. 01. 24.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 미학습된 무작위 그래프 신경망(GNN)을 사용하여 그래프 생성 모델(GGMs)의 스칼라, 도메인 무관, 계산적으로 효율적인 평가 지표를 제안한다. 저자들은 기존 방법보다 충실도와 다양성을 더 잘 측정하는 무작위-GNN 기반 지표를 도입하였으며, 샘플 크기에 따라 두 가지 추천 지표를 제공하여 다양한 도메인 간 일관된 모델 순위 매기기가 가능하게 한다.

ABSTRACT

In image generation, generative models can be evaluated naturally by visually inspecting model outputs. However, this is not always the case for graph generative models (GGMs), making their evaluation challenging. Currently, the standard process for evaluating GGMs suffers from three critical limitations: i) it does not produce a single score which makes model selection challenging, ii) in many cases it fails to consider underlying edge and node features, and iii) it is prohibitively slow to perform. In this work, we mitigate these issues by searching for scalar, domain-agnostic, and scalable metrics for evaluating and ranking GGMs. To this end, we study existing GGM metrics and neural-network-based metrics emerging from generative models of images that use embeddings extracted from a task-specific network. Motivated by the power of certain Graph Neural Networks (GNNs) to extract meaningful graph representations without any training, we introduce several metrics based on the features extracted by an untrained random GNN. We design experiments to thoroughly test metrics on their ability to measure the diversity and fidelity of generated graphs, as well as their sample and computational efficiency. Depending on the quantity of samples, we recommend one of two random-GNN-based metrics that we show to be more expressive than pre-existing metrics. While we focus on applying these metrics to GGM evaluation, in practice this enables the ability to easily compute the dissimilarity between any two sets of graphs regardless of domain. Our code is released at: https://github.com/uoguelph-mlrg/GGM-metrics.

연구 동기 및 목표

• 현재 여러 통계치에 의존하는 통합되지 않은 다수의 지표에 기인한 그래프 생성 모델(GGMs) 평가를 위한 단일한 일관성 있고 확장 가능한 지표의 부족을 해결하기 위해.
• 기존 지표의 한계인 기능 통합 부족, 높은 계산 비용, 특정 그래프 통계에 대한 의존성 등을 극복하기 위해.
• 특히 노드 및 엣지 기능을 포함하는 분야(예: 분자 그래프)에 적용 가능한 통합된 스칼라 평가 프레임워크를 개발하기 위해.
• 충실도, 다양성, 샘플 효율성, 계산 효율성 기반으로 다수의 지표를 객관적으로 평가하고 순위를 매기기 위해.
• 미학습된 무작위 GNN이 의미 있는 표현을 추출할 수 있음을 입증하여, 도메인 무관한 그래프 집합 간 비교를 가능하게 한다.

제안 방법

• 무작위로 초기화된 GNN의 특징 활성화를 기반으로 한 평가 지표 가족을 제안하며, 학습 없이도 의미 있는 표현을 추출할 수 있는 능력을 활용한다.
• GNN 임bedded 특징에 대해 RBF 커널을 사용한 최대 평균 차이(MMD)를 적용하여 실존하는 그래프 집합과 생성된 그래프 집합 간의 스칼라 거리를 계산한다.
• 다양한 데이터셋(예: Grid, MOL, PROTEINS)과 GGM(예: GraphRNN, GRAN)을 대상으로 다양한 학습 단계에서 포괄적인 벤치마크를 수행하여 지표를 평가한다.
• 두 가지 핵심 지표를 도입: 하나는 GNN의 최종 레이어 특징에 기반하고, 다른 하나는 모든 레이어의 전역 평균 풀링을 사용하며, 샘플 크기에 따라 추천한다.
• 충실도(F1 PR), 다양성(MMD), 효율성(계산 시간 및 샘플 수)을 기반으로 객관적 점수를 산정하여 지표 순위를 매긴다.
• 재현 가능성과 광범위한 도입을 위해 https://github.com/uoguelph-mlrg/GGM-metrics 에 코드를 공개한다.

실험 결과

연구 질문

• RQ1 미학습된 무작위 GNN은 도메인 무관하게 그래프 생성 모델 평가를 위한 효과적인 특징 추출기로 기능할 수 있는가?
• RQ2 무작위-GNN 특징에 기반한 스칼라 지표 중에서 충실도, 다양성, 계산 효율성 간의 균형을 가장 잘 유지하는 것은 무엇인가?
• RQ3 무작위-GNN 기반 지표는 다양한 데이터셋에서 표현력과 일관성 면에서 기존 GGM 평가 지표보다 뛰어나게 성능을 내는가?
• RQ4 무작위-GNN 기반 지표의 성능은 생성된 그래프의 수에 따라 달라지며, 만약 그렇다면 샘플 수에 따라 지표를 어떻게 선택해야 하는가?
• RQ5 이 지표들은 일반화 능력 덕분에 도메인에 관계없이 어떤 두 그래프 집합 간 비교에도 사용될 수 있는가?

주요 결과

• 제안된 무작위-GNN 기반 지표는 객관적 점수 기반으로 검증된 결과, 기존 지표보다 생성된 그래프의 충실도와 다양성을 더 잘 측정한다.
• 작은 샘플 크기(<100개 그래프)에서는 모든 GNN 레이어에 걸쳐 전역 평균 풀링을 사용하는 지표가 충실도와 다양성의 균형을 가장 잘 달성하며, Grid 데이터셋에서 F1 PR 점수 0.995를 기록한다.
• 더 큰 샘플 크기(>100개 그래프)에서는 최종 레이어 특징 기반 지표가 뛰어난 성능을 보이며, Grid 데이터셋에서 F1 PR 점수 1.0을 기록하고 다른 벤치마크에서도 일관되게 높은 점수를 기록한다.
• 무작위-GNN 기반 지표는 계산적으로 효율적이며, 100개 그래프 기준 평가 시간이 1초 이내로 유지되어 반복적인 모델 학습에 확장 가능하다.
• 지표들은 도메인 간 강인하다: 분자(MOL), 단백질(PROTEINS), 합성(Grid) 데이터셋 모두에서 우수한 성능을 보이며, 도메인 무관 적용 가능성을 입증한다.
• 연구에서 그래프의 구조적 특성(예: 차수, 군집 계수)에만 의존하거나 사전 학습이 필요한 지표(예: Fréchet ChemNet 거리)는 제안된 접근 방식보다 표현력이 떨어지고 확장성이 떨어진다는 점을 밝혀냈다.