[논문 리뷰] Predicting Sequences of Traversed Nodes in Graphs using Network Models with Multiple Higher Orders

Christoph Gote, Giona Casiraghi외 2명|arXiv (Cornell University)|2020. 07. 13.

Complex Network Analysis Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 여러 차수의 고차 Markov 모델을 통합한 유일한 생성 프레임워크로, MOGen을 소개한다. 이는 네트워크의 구조적 제약 조건과 다양한 길이의 경로를 고려하여 그래프 내에서 순서 있게 방문된 노드의 시퀀스를 예측하는 데에 사용된다. MOGen은 여섯 개의 실세계 데이터셋에서 최신 기술 대비 뛰어난 다음 원소 예측 성능을 보이며, 하이퍼파rameter 없이도 최적의 모델 차수를 자동으로 결정하는 정보 기반의 모델 선택 알고리즘을 통해 외부 샘플의 전체 경로 예측도 정확하게 수행할 수 있다.

ABSTRACT

We propose a novel sequence prediction method for sequential data capturing node traversals in graphs. Our method builds on a statistical modelling framework that combines multiple higher-order network models into a single multi-order model. We develop a technique to fit such multi-order models in empirical sequential data and to select the optimal maximum order. Our framework facilitates both next-element and full sequence prediction given a sequence-prefix of any length. We evaluate our model based on six empirical data sets containing sequences from website navigation as well as public transport systems. The results show that our method out-performs state-of-the-art algorithms for next-element prediction. We further demonstrate the accuracy of our method during out-of-sample sequence prediction and validate that our method can scale to data sets with millions of sequences.

연구 동기 및 목표

• 기존의 순차적 예측 방법들이 네트워크의 구조적 제약 조건과 다양한 길이의 경로를 고려하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 고차원 의존성을 반영하면서도 기초가 되는 그래프 구조를 존중하는 통합 생성 모델을 개발하기 위해.
• 수동 조정이 필요 없는 정보 이론 기반의 모델 선택 알고리즘을 도입하여 순차 패턴의 최적 최대 차수 K를 자동으로 결정하기 위해.
• 하나의 훈련된 모델을 통해 다음 원소 예측과 전체 경로 예측을 동시에 수행할 수 있도록 하여 다양한 길이의 순서를 지원하기 위해.

제안 방법

• 다양한 차수의 마르코프 체인을 하나의 다중 차수 생성 모델로 통합하여, 기초가 되는 그래프 구조에 의해 제약을 받는 순차 패턴을 포괄한다.
• 다층 네트워크 표현으로부터 유도된 블록 인접행렬과 전이행렬을 사용하여 모델을 수식화함으로써 경로의 가능도를 효율적으로 계산할 수 있도록 한다.
• 경로별 가능도 계산을 병렬로 수행함으로써 훈련 속도를 크게 향상시키고, 대규모 데이터셋에 대한 확장성도 보장한다.
• 모델 적합도와 복잡도의 균형을 맞추기 위해 AIC를 사용한 정보 기반의 모델 선택 절차를 적용하여 최적의 최대 차수 K를 선정한다.
• 경로의 시작 및 종료 노드, 경로 길이 분포를 명시적으로 모델링함으로써 예측 정확도를 향상시킨다.
• 수백만 개의 다양한 길이의 순서를 포함하는 데이터셋에 대응하기 위해 병렬화된 구현 방식을 사용한다.

실험 결과

연구 질문

• RQ1 통합된 다중 차수 모델은 네트워크 내에서 순서적으로 방문된 노드 시퀀스의 다음 노드를 예측하는 데 있어 기존 방법들을 능가할 수 있는가?
• RQ2 기초가 되는 그래프 구조의 제약 조건을 존중하면서도 순차적 노드 이동의 고차원 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 정보 이론 기반의 모델 선택 접근법을 통해 수동 하이퍼파rameter 조정 없이 최적의 최대 차수 K를 자동으로 식별할 수 있는가?
• RQ4 제안된 모델은 외부 샘플의 경로 예측, 특히 다양한 길이의 전체 경로 시퀀스에 대해 얼마나 잘 일반화되는가?
• RQ5 대규모 실세계 데이터셋에서 훈련 시간과 메모리 사용량 측면에서 모델의 확장성은 어떠한가?

주요 결과

• MOGen은 웹사이트 내 탐색 및 대중교통 시스템을 포함한 여섯 개의 실세계 데이터셋에서 최신 기술 대비 뛰어난 다음 원소 예측 성능을 보였다.
• AIC 기반의 모델 선택 알고리즘이 성공적으로 최적의 최대 차수 K를 식별하여 과적합 또는 과소적합 없이 잘 일반화된 모델을 생성했다.
• MOGen이 선택한 모든 모델는 1MB 이하의 크기로, 복잡한 순차 패턴을 모델링함에도 불구하고 매우 컴팩트하고 효율적임을 시사한다.
• 훈련 시간은 처리 코어 수에 거의 선형적으로 증가하여 대규모 데이터셋에서 뛰어난 병렬 처리 효율성을 입증했다.
• 이 방법은 실생활 대중교통 네트워크에서 승객의 이동 경로와 같은 외부 샘플의 전체 다양한 길이의 경로 예측을 성공적으로 수행했다.
• 최대 차수 K에 따라 모델 크기가 초선형적으로 증가하지만, TUBE 데이터셋처럼 희소하게 연결된 네트워크에서는 성장 폭이 가장 제한된다.