[논문 리뷰] Graph Mixture Density Networks

Federico Errica, Davide Bacciu외 1명|arXiv (Cornell University)|2020. 12. 05.

Bioinformatics and Genomic Networks참고 문헌 40인용 수 4

한 줄 요약

이 논문은 그래프 구조 데이터에서 다중모달 조건부 출력 분포를 모델링하기 위해 그래프 신경망과 혼합 밀도 신경망을 결합한 새로운 딥러닝 프레임워크인 그래프 혼합 밀도 네트워크(GMDN)를 소개한다. GMDN은 합성 전염병 시뮬레이션 벤치마크와 실제 분자 성질 예측 작업 모두에서 가능도 기반 밀도 추정에서 최신 기술 수준의 성능을 달성하며, 출력 불확실성을 포착하는 데 있어 기존 모델들을 크게 능가한다.

ABSTRACT

We introduce the Graph Mixture Density Networks, a new family of machine learning models that can fit multimodal output distributions conditioned on graphs of arbitrary topology. By combining ideas from mixture models and graph representation learning, we address a broader class of challenging conditional density estimation problems that rely on structured data. In this respect, we evaluate our method on a new benchmark application that leverages random graphs for stochastic epidemic simulations. We show a significant improvement in the likelihood of epidemic outcomes when taking into account both multimodality and structure. The empirical analysis is complemented by two real-world regression tasks showing the effectiveness of our approach in modeling the output prediction uncertainty. Graph Mixture Density Networks open appealing research opportunities in the study of structure-dependent phenomena that exhibit non-trivial conditional output distributions.

연구 동기 및 목표

• 표준 회귀 모델이 단일 모달 예측으로 인해 실패하는 그래프 구조 데이터에서 다중모달 조건부 출력 분포를 모델링하는 문제를 해결하기 위해.
• 혼합 밀도 신경망(MDNs)을 그래프에서 작동하도록 확장하여 복잡한 구조 의존 현상에 대한 조건부 밀도 추정을 가능하게 하기 위해.
• 구조와 다중모달성이 모두 중요한 랜덤 그래프 상의 스토케스틱 전염병 시뮬레이션을 포함하는 새로운 벤치마크를 평가하기 위해.
• 실제 분자 그래프 회귀 작업에서 예측 불확실성을 모델링하는 데 있어 GMDN의 효과성을 입증하기 위해.
• GMDN이 다양한 그래프 구조와 크기 간에 지식을 전이하여 새로운 그래프 구조에 대한 일반화 능력을 향상시킬 수 있는지 보여주기 위해.

제안 방법

• GMDN은 입력 그래프에서 공유 잠재 표현을 생성하기 위해 그래프 신경망(GNN) 인코더를 사용하며, 이를 바탕으로 출력 분포의 혼합을 파rameter화한다.
• GNN의 출력은 목표 변수에 대한 가우시안 성분의 혼합 비율, 평균, 분산을 예측하는 혼합 밀도 헤드에 입력된다.
• 모델은 최대 가능도 추정을 통해 훈련되며, 예측된 혼합 분포 하에서 진짜 목표 값의 로그 가능도를 최적화한다.
• 혼합 밀도 헤드 덕분에 모델은 전체 확률 분포를 출력할 수 있어 주어진 입력 그래프에 대해 다수의 타당한 결과를 포착할 수 있다.
• 이 아키텍처는 노드 수준 및 그래프 수준의 출력 분포를 모두 지원하여 복잡한 조건부 의존성을 가진 구조화된 데이터에 대한 민첩한 모델링을 가능하게 한다.
• 전이 학습은 한 가족의 그래프(예: 에르되시-레니)에서 훈련하고 다른 가족(예: 바라바시-알버트)에서 테스트하여 다양한 구조 간의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 어떤 딥러닝 모델이 임의의 그래프 구조에 조건부된 다중모달 출력 분포를 효과적으로 모델링할 수 있는가?
• RQ2 그래프 구조를 통합함으로써 실제 응용에서 복잡하고 비정규 분포의 조건부 분포를 어떻게 향상시킬 수 있는가?
• RQ3 GMDN 프레임워크는 에르되시-레니에서 바라바시-알버트 네트워크로의 다양한 그래프 구조 간에 일반화되는가?
• RQ4 기존 GNN이나 MDN보다 GMDN이 분자 성질 회귀에서 예측 불확실성을 더 잘 포착할 수 있는가?
• RQ5 GMDN의 가능도 성능은 합성 및 실제 그래프 벤치마크에서 DGN과 MDN과 같은 강력한 기준 모델들과 비교해 어떻게 되는가?

주요 결과

• 전염병 시뮬레이션 벤치마크에서 GMDN은 모든 기준 모델보다 유의미하게 높은 로그 가능도를 달성했으며, RAND 점수 기준은 -27.12였고, alchemy_full 데이터셋에서 GMDN은 -0.57을 기록했다.
• ZINC_full 데이터셋에서 GMDN은 로그 가능도 -0.75를 기록했고, 다음으로 우수한 모델인 DGN의 -0.90보다 뛰어나, 더 뛰어난 밀도 추정 능력을 보였다.
• alchemy_full 데이터셋에서 GMDN은 로그 가능도 -0.57에 표준편차 1.4를 기록하여 훈련 런 간에 뛰어난 안정성과 일관성을 보였다.
• 출력 분포의 시각화에서 GMDN은 두 개의 명확한 모드를 포착하여 이완 모멘트 예측에 대해 성공적으로 다중모달성을 반영했고, DGN은 두 모드 사이에 단일 가우시안으로 붕괴되어 불확실성을 제대로 표현하지 못했다.
• ER-100 그래프에서 훈련된 모델은 BA-100에서 훈련된 모델보다 더 큰 크기의 그래프 가족(BA-200, BA-500)으로 일반화 능력이 뛰어나, 더 어려운 소스 작업이 전이 가능성 향상에 기여함을 시사했다.
• MAE 점수는 모든 모델 간 유사했지만, GMDN은 훨씬 높은 로그 가능도를 기록하여, 유사한 점 추정 성능를 보이지만 불확실성 모델링 능력이 기준 모델들보다 훨씬 뛰어나다는 점을 확인했다.