[논문 리뷰] Evaluation Metrics for Graph Generative Models: Problems, Pitfalls, and Practical Solutions

Leslie O’Bray, Max Horn외 2명|arXiv (Cornell University)|2021. 06. 02.

Data Visualization and Analytics인용 수 5

한 줄 요약

이 논문은 그래프 생성 모델 평가의 주요 지표로 최대 평균 차이(MMD)를 사용할 때의 심각한 결함을 규명하며, 커널 및 파라미터 설정이 모델 순위를 비논리적으로 왜곡시킬 수 있음을 입증한다. 이를 바탕으로 구조적 차이에 대해 단조로운 민감도를 보장하고 평가의 공정성과 재현 가능성을 향상시키기 위해 강건한 MMD 설정을 선택하기 위한 편미분 기반 검증 프로토콜을 제안한다.

ABSTRACT

Graph generative models are a highly active branch of machine learning. Given the steady development of new models of ever-increasing complexity, it is necessary to provide a principled way to evaluate and compare them. In this paper, we enumerate the desirable criteria for such a comparison metric and provide an overview of the status quo of graph generative model comparison in use today, which predominantly relies on the maximum mean discrepancy (MMD). We perform a systematic evaluation of MMD in the context of graph generative model comparison, highlighting some of the challenges and pitfalls researchers inadvertently may encounter. After conducting a thorough analysis of the behaviour of MMD on synthetically-generated perturbed graphs as well as on recently-proposed graph generative models, we are able to provide a suitable procedure to mitigate these challenges and pitfalls. We aggregate our findings into a list of practical recommendations for researchers to use when evaluating graph generative models.

연구 동기 및 목표

• 그래프 생성 모델 평가의 주요 지표로 사용되는 최대 평균 차이(MMD)의 단점들을 규명하고 분석하는 것.
• MMD의 커널 및 파라미터 설정이 구조적 이질성 증가에도 불구하고 잘못된 또는 비단조로운 모델 순위를 초래할 수 있는 방식을 조사하는 것.
• 편미분에 강건하고 진정된 분포 차이에 민감한 MMD 커널 및 파라미터 조합을 선택하는 실용적이고 재현 가능한 절차를 개발하는 것.
• 특정 모델에 종속되지 않는, 연구자들이 그래프 생성 모델을 공정하고 신뢰할 수 있게 평가할 수 있도록 실질적인 권고를 제공하는 것.

제안 방법

• 바라바시-알버트, 에르되시-레니, 워츠-스트로그라츠 세 가지 일반적인 네트워크 모델을 사용해 인위적으로 훼손된 그래프에서 MMD의 행동을 체계적으로 평가한다.
• 엣지 추가, 엣지 제거, 엣지 재연결, 노드 추가의 네 가지 유형의 그래프 훼손을 여러 데이터셋에 걸쳐 적용하여 구조적 이질성이 점차 증가하는 상황을 시뮬레이션한다.
• 훼손 수준과 MMD 거리 사이의 피어슨 상관계수를 신뢰도 측정 지표로 사용하며, 기술자 함수와 커널 파라미터에 따라 성능을 시각화하기 위해 히트맵을 생성한다.
• 훼손 수준과 가장 높은 상관관계를 보이는 커널-파라미터 조합을 선별하여, 구조적 변화에 대해 단조롭고 강건한 민감도를 확보한다.
• 모델별 성능에 종속되지 않고 커널 선택을 안내하기 위해 표준화된 편미분 실험을 제안하여 재현 가능성과 공정성을 향상시킨다.
• 기술자 함수 선택과 지표 평가를 분리하는 모듈식 평가 파이프라인에 방법을 통합하여 연구 간 일관성을 증진시킨다.

실험 결과

연구 질문

• RQ1 MMD의 커널 및 파라미터 설정이 그래프 생성 모델의 구조적 유사성 평가 시 모델 순위에 어떤 영향을 미치는가?
• RQ2 그래프 분포 간 구조적 이질성이 증가함에 따라 MMD가 단조롭게 증가하지 않는 정도는 어느 정도인가?
• RQ3 편미분 기반 검증 프로토콜이 강건하고 구조적 변화에 민감한 MMD 커널-파라미터 조합을 신뢰성 있게 식별할 수 있는가?
• RQ4 부적절한 MMD 설정을 사용할 경우 평가에 어떤 실질적 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ5 연구자들은 MMD 기반 평가가 특정 모델에 종속되지 않고 공정하고 재현 가능하도록 보장하기 위해 어떻게 해야 하는가?

주요 결과

• 나쁜 커널-파라미터 조합을 사용할 경우, 훼손 수준과 MMD 거리 사이에 비단조로운 또는 심지어 역상관 관계가 발생하여 잘못된 모델 순위를 초래할 수 있다.
• 가장 우수한 커널-파라미터 조합은 훼손 수준과 약 0.95의 피어슨 상관계수를 기록했고, 가장 열 劣한 조합은 -0.35의 음성 상관계수를 보이며 설정에 따른 민감도가 극도로 높음을 시사한다.
• 클러스터링 계수나 도수 분포와 같은 기술자 함수는 일관되지 않은 MMD 행동을 보였으며, 일부 조합은 훼손 증가에 따라 MMD가 감소하거나 상관관계가 없음을 보였다.
• 제안된 편미분 기반 선택 프로토콜은 모든 테스트된 그래프 유형에서 훼손 수준과 높은 상관관계를 유지하는 강건한 커널-파라미터 조합을 성공적으로 식별했다.
• 예를 들어 5% 엣지 재연결과 같은 고정된 도메인 관련 훼손 수준을 커널 선택의 기준으로 삼는 것이 모델별 성능에 의존하는 것보다 더 신뢰할 수 있고 비교 가능한 평가를 가능하게 한다.
• 이 방법은 커널 선택과 모델 비교를 분리함으로써 재현 가능한 평가를 가능하게 하여 편향을 줄이고 모델 벤치마킹의 공정성을 향상시킨다.