[논문 리뷰] Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts

Aaron Schein, John Paisley외 2명|arXiv (Cornell University)|2015. 06. 10.

Tensor decomposition and applications참고 문헌 25인용 수 12

한 줄 요약

이 논문은 국제관계에서 희박하고 동적인 이원관계 이벤트 수를 기반으로 은닉된 다자관계를 추론하기 위해 베이지안 포아송 텐서 분해(BPTF)를 제안한다. 상호작용 수를 포아송분포로 모델링하고 기하평균 기대값을 사용한 변분인ference를 적용함으로써, BPTF는 예측 정확도에서 비음수 텐서 분해보다 뛰어나며, 6자회담과 9.11 후 외교적 이동과 같은 해석 가능한 시간적으로 일관된 그룹 구조를 도출한다.

ABSTRACT

We present a Bayesian tensor factorization model for inferring latent group structures from dynamic pairwise interaction patterns. For decades, political scientists have collected and analyzed records of the form "country $i$ took action $a$ toward country $j$ at time $t$"---known as dyadic events---in order to form and test theories of international relations. We represent these event data as a tensor of counts and develop Bayesian Poisson tensor factorization to infer a low-dimensional, interpretable representation of their salient patterns. We demonstrate that our model's predictive performance is better than that of standard non-negative tensor factorization methods. We also provide a comparison of our variational updates to their maximum likelihood counterparts. In doing so, we identify a better way to form point estimates of the latent factors than that typically used in Bayesian Poisson matrix factorization. Finally, we showcase our model as an exploratory analysis tool for political scientists. We show that the inferred latent factor matrices capture interpretable multilateral relations that both conform to and inform our knowledge of international affairs.

연구 동기 및 목표

• 이원관계 이벤트에서 발생하는 희박하고 과분산된 카운트 데이터에 표준 비음수 텐서 분해를 적용할 때 발생하는 불안정성 문제를 해결하기 위해.
• 희박하고 고차원적인 상호작용 텐서로부터 은닉된 다자관계를 추론할 수 있는 확장 가능한 베이지안 프레임워크를 개발하기 위해.
• 변분인ference에서 산술기대값과 기하기대값을 비교하여 은닉요인의 점추정을 향상시키기 위해.
• 정치학자들이 이벤트 데이터에서 복잡한 다자관계 의존성을 탐색하고 해석할 수 있는 탐색적 분석 도구를 제공하기 위해.
• BPTF가 대규모 이벤트 데이터에서 지속적인 지역적 관계와 일시적인 외교적 사건을 모두 포착할 수 있음을 보여주기 위해.

제안 방법

• 국가, 행동, 시간 단위에 따라 이원관계 이벤트 데이터를 4차원 카운트 텐서로 표현한다.
• 보내는 이, 받는 이, 행동유형, 시간단위 요인 행렬로 분해하는 저랭크 분해를 사용한 베이지안 포아송 텐서 분해를 적용한다.
• 스케일러블한 사후 근사에 기여하기 위해 공액사전을 사용한 변분인퍼런스 알고리즘을 활용한다.
• 은닉요인의 점추정으로 변분사후분포의 기하평균을 사용하여 산술기대값보다 성능 향상을 입증한다.
• 요인 행렬에 음수 제약조건을 통합하여 결과의 해석 가능성을 확보한다.
• 비음수 텐서 분해에서 최대우도추정과 변분인퍼런스를 비교하여, 희박성과 과분산에 대한 강인성을 입증한다.

실험 결과

연구 질문

• RQ1 베이지안 포아송 텐서 분해는 국제관계에서 희박하고 과분산된 이원관계 이벤트 수를 효과적으로 모델링할 수 있는가?
• RQ2 점추정 방식(산술기대값 대비 기하기대값)의 선택이 변분베이지안 모델에서 은닉요인 추정의 품질에 어떤 영향을 미치는가?
• RQ3 BPTF는 전통적 분석으로는 드러나지 않는 대규모 희박 이벤트 데이터로부터 해석 가능한 다자관계를 밝혀낼 수 있는가?
• RQ4 BPTF는 희박한 카운트 데이터에서 표준 비음수 텐서 분해보다 예측 성능이 뛰어나게 되는가?
• RQ5 유추된 은닉성분이 6자회담이나 반테러전쟁과 같은 알려진 역사적 사건을 어느 정도 반영할 수 있는가?

주요 결과

• BPTF는 희박하고 산산이 흩어진 카운트 텐서에서 표준 비음수 텐서 분해보다 더 뛰어난 외부예측 성능을 달성한다.
• 은닉요인의 점추정에 기하기대값을 사용할 경우, 특히 데이터가 적은 상황에서 산술기대값보다 동일하거나 더 나은 예측 성능을 보인다.
• 모델은 해석 가능한 다자관계를 성공적으로 식별한다: 한 요인은 2003–2009년 기간 동안 6개 국가와 외교적 행동에서 높은 활동을 보이며 6자회담을 반영한다.
• 다른 요인은 미국 주도의 반테러전쟁을 반영하며, 2001년 10월(아프가니스탄 침공)에 활동이 급격히 증가하고, 1998년 8월(_missile strikes)에 두 번째 피크가 나타난다.
• 유추된 요인 행렬은 알려진 역사적 사건과 일치하는 일관된 시간적 및 구조적 패턴을 보이며, 모델의 해석 가능성에 대한 유효성을 입증한다.
• 희박하고 과분산된 데이터에 피팅할 때 BPTF의 변분인퍼런스는 비음수 텐서 분해에서 최대우도추정보다 더 안정적이다.