[논문 리뷰] Efficient reconstruction of transmission probabilities in a spreading process from partial observations

Andrey Y. Lokhov, Theodor Misiakiewicz|arXiv (Cornell University)|2015. 09. 23.

Distributed Sensor Networks and Detection Algorithms인용 수 6

한 줄 요약

이 논문은 부분 관측 자료(예: 불완전한 활성화 시간 또는 희박한 스냅샷)로부터 전파 과정에서의 전파 확률을 효율적으로 복원하기 위해 동적 메시지 전달(DMP) 기반 알고리즘을 제안한다. DMP 방정식을 활용해 근사적인 마진 확률을 계산함으로써, 이 방법은 희박한 네트워크에서 빠르고 강건한 추론을 달성하며, 몬테카를로 샘플링을 동반한 비용이 큰 우도 최대화 방법보다 뛰어나다. 특히 은닉 노드나 노이즈가 있는 데이터 상황에서 유의미하게 성능을 발휘한다.

ABSTRACT

An important problem of reconstruction of diffusion network and transmission probabilities from the data has attracted a considerable attention in the past several years. A number of recent papers introduced efficient algorithms for the estimation of spreading parameters, based on the maximization of the likelihood of observed cascades, assuming that the full information for all the nodes in the network is available. In this work, we focus on a more realistic and restricted scenario, in which only a partial information on the cascades is available: either the set of activation times for a limited number of nodes, or the states of nodes for a subset of observation times. To tackle this problem, we first introduce a framework based on the maximization of the likelihood of the incomplete diffusion trace. However, we argue that the computation of this incomplete likelihood is a computationally hard problem, and show that a fast and robust reconstruction of transmission probabilities in sparse networks can be achieved with a new algorithm based on recently introduced dynamic message-passing equations for the spreading processes. The suggested approach can be easily generalized to a large class of discrete and continuous dynamic models, as well as to the cases of dynamically-changing networks and noisy information.

연구 동기 및 목표

• 관측된 캐스케이드 데이터가 제한적이거나 불완전한 경우(예: 제한된 활성화 시간 또는 시간에 따른 희박한 관측), 전파 과정에서의 전파 확률을 학습하는 데 도전하는 것.
• 부분 관측 하에서 정확한 우도 최대화가 계산적으로 비현실적이며, 대규모 또는 실시간 응용에 있어 비용이 지나치게 높은 문제를 해결하는 것.
• 몬테카를로 기반 우도 최대화의 대안으로서 동적 메시지 전달(DMP) 방정식을 활용해 근사 추론을 수행함으로써 확장 가능하고 강건한 방법을 개발하는 것.
• 완전한 캐스케이드 데이터가 확보되지 않은 현실적인 상황(은닉 노드, 동적으로 변화하는 네트워크, 노이즈가 있는 관측 등)에서도 매개변수 추정을 가능하게 하는 것.

제안 방법

• 부분 관측된 확산 트레이스의 우도를 최대화하는 방식으로 추론 문제를 설정하며, 관측된 데이터와 은닉된 캐스케이드 데이터를 모두 고려한다.
• 두 가지 기초 방법을 도입: 부분 우도 계산을 위한 정확한 마진화와 몬테카를로 샘플링이지만, 양측 모두 계산 비용이 매우 높다.
• 순환 구조를 가진 희박한 네트워크에서 노드 활성화의 근사 마진 확률을 효율적으로 근사하기 위해 동적 메시지 전달(DMP) 방정식 기반의 새로운 알고리즘을 제안한다.
• 완전한 열거 없이 DMP를 사용해 근사적인 우도를 계산함으로써, 누락된 데이터가 있는 상황에서도 빠르고 확장 가능한 매개변수 학습을 가능하게 한다.
• 이론적 프레임워크를 이산 시간 S-I 모델에 적용하고, 연속 시간 모델 및 기타 동적 모델로 일반화한다.
• 기본 네트워크 구조가 알려지지 않은 경우에도 DMP가 매개변수 학습에 사용될 수 있음을 입증하지만, 추가 제약 조건이 없으면 정확한 구조 복원은 어려울 수 있음을 시사한다.

실험 결과

연구 질문

• RQ1 제한된 활성화 시간나 희박한 스냅샷과 같은 부분 관측 자료로부터 전파 과정의 전파 확률을 정확하게 복원할 수 있는가?
• RQ2 부분 관측 데이터 하에서 우도 최대화의 계산 비용을 유지보장하면서 줄일 수 있는가?
• RQ3 동적 메시지 전달(DMP) 방정식이 부분 관측 환경에서 계산이 불가능한 우도 계산에 대해 얼마나 효율적이고 정확한 근사값을 제공할 수 있는가?
• RQ4 DMP 기반 추론은 시간에 따라 변화하는 네트워크 또는 노이즈가 있는 관측이 있는 동적 모델로 일반화될 수 있는가?
• RQ5 완전한 관측 데이터가 있음에도 불구하고, DMP가 마진 확률만을 입력으로 사용할 경우 정확한 네트워크 구조를 복원하지 못하는 이유는 무엇인가?

주요 결과

• DMP 기반 알고리즘은 희박한 네트워크에서 전파 확률을 효율적이고 강건하게 복원할 수 있으며, 계산 속도 측면에서 몬테카를로 기반 우도 최대화 방법보다 뚜렷이 뛰어나다.
• 부분 관측 데이터 하에서 정확한 우도 최대화는 계산적으로 어려워 실시간 또는 대규모 응용에 비현실적이다.
• DMP는 순환 구조를 가진 희박한 네트워크에서 점점 정확한 마진 확률 추정치를 제공하며, 근사 추론의 강력한 기반을 형성한다.
• 완전한 관측 데이터가 있음에도 불구하고 DMP 알고리즘은 정확한 원래 네트워크 구조를 복원하지 못한다. 이는 경험적 마진 확률에 가장 잘 맞는 희박한 네트워크를 생성하기 때문이다.
• 은닉 노드나 알려지지 않은 네트워크 구조가 있는 상황에서 정규화(예: ℓ₁)를 적용함으로써 DMP 알고리즘의 구조 학습 성능을 향상시킬 수 있다.
• 구조적 비교 결과, DMP로 복원된 네트워크는 원래 네트워크와 유사한 직경과 평균 경로 길이를 가지지만, 가중치 기반 차수와 경로 수를 과소평가하여 구조적 편차를 보인다.