[논문 리뷰] When is a Network a Network? Multi-Order Graphical Model Selection in Pathways and Temporal Networks

Ingo Scholtes|arXiv (Cornell University)|2017. 02. 17.

Complex Network Analysis Techniques참고 문헌 10인용 수 53

한 줄 요약

이 논문은 여러 차례의 고차 그래프 모델링 프레임워크를 제안하여 여러 차수의 고차 마르코프 모델들을 레이어드 그래프에 결합해 경로의 시간적 상관성을 포착하고, 이러한 데이터에 대해 최적의 최대 차수를 결정하는 합리적 모델 선택 접근법을 도입한다.

ABSTRACT

We introduce a framework for the modeling of sequential data capturing pathways of varying lengths observed in a network. Such data are important, e.g., when studying click streams in information networks, travel patterns in transportation systems, information cascades in social networks, biological pathways or time-stamped social interactions. While it is common to apply graph analytics and network analysis to such data, recent works have shown that temporal correlations can invalidate the results of such methods. This raises a fundamental question: when is a network abstraction of sequential data justified? Addressing this open question, we propose a framework which combines Markov chains of multiple, higher orders into a multi-layer graphical model that captures temporal correlations in pathways at multiple length scales simultaneously. We develop a model selection technique to infer the optimal number of layers of such a model and show that it outperforms previously used Markov order detection techniques. An application to eight real-world data sets on pathways and temporal networks shows that it allows to infer graphical models which capture both topological and temporal characteristics of such data. Our work highlights fallacies of network abstractions and provides a principled answer to the open question when they are justified. Generalizing network representations to multi-order graphical models, it opens perspectives for new data mining and knowledge discovery algorithms.

연구 동기 및 목표

• 그래프상의 시퀀스 데이터에 대해 표준 네트워크(1차) 추상화가 충분하지 않음을 동기화하고 정량화한다.
• 레이어 across에서 상위 차수 마르코프 모델을 결합하여 다중 차수 그래픽 모델링 프레임워크를 소개한다.
• 주어진 데이터 세트에 대해 최적의 최대 차수 K를 추론하기 위한 합리적 모델 선택 방법을 개발한다.
• 고차 모델링이 표준 네트워크 방법이 놓치는 시간적 상관을 포착한다는 것을 보여준다.
• 프레임워크가 정점 순위 매기기 및 중심성 계산과 같은 분석 작업을 어떻게 개선하는지 보여준다.

제안 방법

• 그래프에 대해 차수 k인 고차 마르코프 체인을 정의하고 그 전이 확률을 기술한다.
• k = 0,...,K에 대해 레이어 M_k를 결합하여 다층 모델 bar{M}_K 를 구성한다.
• 관찰된 경로 집합 S에 대해 다중 차수 가능도 L(bar{M}_K|S )을 정의하고 이를 모델 적합에 사용한다.
• 네스티드 모델 bar{M}_K 를 이용하고 Wilks 정리를 사용하여 추가 고차 레이어의 필요성을 검정하는 모델 선택 접근법을 제안한다.
• 유효한 경로를 고려하기 위해 그래프 토폴로지로 자유도(degrees of freedom)를 계산하여 표준 고차 모델 기준들보다 개선한다.
• 고차 PageRank를 G^{(k)}로 일반화하고, 더 높은 차원의 PageRank를 1차 정점으로 다시 투영하여 평가한다.

실험 결과

연구 질문

• RQ1 1차 네트워크가 그래프상의 시퀀스 경로 데이터를 모델링하기에 충분한지 언제인가?
• RQ2 관찰된 경로의 집합이 주어졌을 때 다중 차수 그래픽 모델의 최적의 최대 차수 K를 어떻게 추론하는가?
• RQ3 고차 모델이 그래프상의 경로 데이터에 대해 표준 차수 탐지 방법(AIC/BIC)보다 통계적으로 합리적인 개선을 제공하는가?
• RQ4 프레임워크가 시간적 상관을 반영하여 정점 순위 같은 네트워크 분석 작업을 개선할 수 있는가?
• RQ5 고차 표현을 사용하여 위상적 특성과 시간적 특성을 모두 포착하는 그래프 분석을 일반화할 수 있는가?

주요 결과

• 다중 차수 모델링 프레임워크는 다층 그래프에 고차 마르코프 레이어를 결합하여 여러 길이 척도에서 시간적 상관을 포착한다.
• 제안된 차수 탐지 방법은 네스팅 및 Wilks 정리를 사용하여 최적의 최대 차수 K_opt를 이웃하는 모델과의 비교 및 p-값 계산으로 결정한다.
• 실험에서 MOG 접근법은 합성 데이터에서 AIC/BIC보다 더 작은 표본 크기로 진짜 마르코프 차수를 회복하고, 특정 조건에서 훨씬 적은 샘플이 필요함을 보인다.
• 이 접근법은 자유도를 결정하는 데 그래프 토폴로지를 고려하여 과적합을 완화하고 희소성 문제를 해결한다.
• 고차 PageRank가 G^{(k)}에 일반화되어 실제 방문 확률과 잘 정렬되며, 시간적 상관을 반영하는 합리적 정점 순위를 가능하게 한다.