[论文解读] Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts

Aaron Schein, John Paisley+2 more|arXiv (Cornell University)|Jun 10, 2015

Tensor decomposition and applications参考文献 25被引用 12

一句话总结

本文提出贝叶斯泊松张量分解（BPTF），以从国际关系中稀疏、动态的二元事件计数中推断潜在的多边关系。通过将交互计数建模为泊松分布张量，并应用具有几何期望的变分推断，BPTF 在预测准确性上优于非负张量分解，且能生成可解释的、时间上一致的群体结构，如六方会谈和“9·11”事件后的外交转变。

ABSTRACT

We present a Bayesian tensor factorization model for inferring latent group structures from dynamic pairwise interaction patterns. For decades, political scientists have collected and analyzed records of the form "country $i$ took action $a$ toward country $j$ at time $t$"---known as dyadic events---in order to form and test theories of international relations. We represent these event data as a tensor of counts and develop Bayesian Poisson tensor factorization to infer a low-dimensional, interpretable representation of their salient patterns. We demonstrate that our model's predictive performance is better than that of standard non-negative tensor factorization methods. We also provide a comparison of our variational updates to their maximum likelihood counterparts. In doing so, we identify a better way to form point estimates of the latent factors than that typically used in Bayesian Poisson matrix factorization. Finally, we showcase our model as an exploratory analysis tool for political scientists. We show that the inferred latent factor matrices capture interpretable multilateral relations that both conform to and inform our knowledge of international affairs.

研究动机与目标

• 解决标准非负张量分解在应用于稀疏、过度分散的二元事件计数数据时的不稳定性问题。
• 开发一种可扩展的贝叶斯框架，从稀疏、高维的交互张量中推断潜在的多边关系。
• 通过在变分推断中比较算术平均与几何平均，改进潜在因子的点估计。
• 为政治科学家提供一种探索性分析工具，以发现并解释事件数据中复杂的多边依赖关系。
• 证明 BPTF 能够从大规模事件数据中捕捉持久的区域关系以及时间上局部化的外交事件。

提出的方法

• 将二元事件数据表示为国家、行为类型和时间步长上的四维计数张量。
• 使用低秩分解将贝叶斯泊松张量分解应用于发送方、接收方、行为类型和时间步长的因子矩阵。
• 采用具有共轭先验的变分推断算法，实现可扩展的后验近似。
• 使用变分后验的几何平均作为潜在因子的点估计，其性能优于算术平均。
• 在因子矩阵中引入非负性约束，以确保结果的可解释性。
• 将变分推断与非负张量分解中的最大似然估计进行比较，证明其在稀疏性和过度分散数据下的鲁棒性。

实验结果

研究问题

• RQ1 贝叶斯泊松张量分解能否有效建模国际关系中稀疏、过度分散的二元事件计数？
• RQ2 在变分贝叶斯模型中，点估计的选择（算术平均 vs. 几何平均）如何影响潜在因子推断的质量？
• RQ3 BPTF 能否从未经传统分析揭示的大型稀疏事件数据中发现可解释的多边关系？
• RQ4 BPTF 在稀疏计数数据上的预测性能是否优于标准的非负张量分解？
• RQ5 推断出的潜在成分在多大程度上能反映已知的历史事件，如六方会谈或反恐战争？

主要发现

• BPTF 在稀疏、分散的计数张量上实现了优于标准非负张量分解的样本外预测性能。
• 使用几何期望进行潜在因子点估计，其预测性能与算术期望相当或更优，尤其在数据量较少的场景下表现更佳。
• 该模型成功识别出可解释的多边关系：一个因子捕捉了六方会谈（2003–2009），其在六个国家间有高活跃度，且与外交行为相关。
• 另一个因子捕捉了美国主导的反恐战争，其活动在2001年10月（入侵阿富汗）出现显著峰值，以及1998年8月（导弹袭击）出现次级峰值。
• 推断出的因子矩阵揭示了与已知历史事件一致的时间和结构模式，验证了模型的可解释性。
• 在稀疏、过度分散的数据拟合中，BPTF 的变分推断比非负张量分解的最大似然估计更稳定。