[論文レビュー] Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts

Aaron Schein, John Paisley+2 more|arXiv (Cornell University)|Jun 10, 2015

Tensor decomposition and applications参考文献 25被引用数 12

ひとこと要約

本稿では、国際関係におけるスパースで動的な二項イベントカウントから隠れた多辺的関係を推論するため、ベイジアンポアソンテンソル因子分解（BPTF）を提案する。相互作用カウントをポアソン分布に従うテンソルとしてモデル化し、幾何的期待値を用いた変分推論を適用することで、非負テンソル因子分解よりも高い予測精度を達成し、六者会議や9・11後の大国外交的転換といった解釈可能な時系列的整合性を持つグループ構造を明らかにする。

ABSTRACT

We present a Bayesian tensor factorization model for inferring latent group structures from dynamic pairwise interaction patterns. For decades, political scientists have collected and analyzed records of the form "country $i$ took action $a$ toward country $j$ at time $t$"---known as dyadic events---in order to form and test theories of international relations. We represent these event data as a tensor of counts and develop Bayesian Poisson tensor factorization to infer a low-dimensional, interpretable representation of their salient patterns. We demonstrate that our model's predictive performance is better than that of standard non-negative tensor factorization methods. We also provide a comparison of our variational updates to their maximum likelihood counterparts. In doing so, we identify a better way to form point estimates of the latent factors than that typically used in Bayesian Poisson matrix factorization. Finally, we showcase our model as an exploratory analysis tool for political scientists. We show that the inferred latent factor matrices capture interpretable multilateral relations that both conform to and inform our knowledge of international affairs.

研究の動機と目的

• 二項イベントからのスパースで過分散なカウントデータに適用した際の標準的な非負テンソル因子分解の不安定性を是正すること。
• スパースで高次元の相互作用テンソルから隠れた多辺的関係を推論するスケーラブルなベイジアンフレームワークを構築すること。
• 変分推論における算術平均と幾何的期待値の比較を通じて、隠れた要因の点推定を改善すること。
• 政治科学者が大規模なイベントデータにおける複雑な多辺的依存関係を発見・解釈できるための探索的分析ツールを提供すること。
• BPTFが大規模なイベントデータから、持続的な地域的関係と時系列的に局所化された外交的出来事の両方を捉えられることを示すこと。

提案手法

• 国、行動、時間ステップごとのカウントとして二項イベントデータを四階テンソルとして表現する。
• 送信者、受信者、行動タイプ、時間ステップの因子行列への低ランク分解を用いて、ベイジアンポアソンテンソル因子分解を適用する。
• 共役事前分布を用いてスケーラブルな事後分布近似を可能にする変分推論アルゴリズムを採用する。
• 隠れた要因の点推定として、変分事後分布の幾何的平均を用い、算術平均よりも優れた性能を示す。
• 因子行列に非負制約を組み込むことで、解釈可能性を確保する。
• 非負テンソル因子分解における最尤推定と比較して、変分推論がスパース性と過分散性に対してより安定であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンポアソンテンソル因子分解は、国際関係におけるスパースで過分散な二項イベントカウントを効果的にモデル化できるか？
• RQ2 点推定の選択（算術平均対幾何的期待値）が、変分ベイジアンモデルにおける隠れた要因推定の質にどのように影響するか？
• RQ3 BPTFは、従来の分析では明らかでない大規模でスパースなイベントデータから解釈可能な多辺的関係を同定できるか？
• RQ4 BPTFはスパースなカウントデータにおいて、標準的な非負テンソル因子分解よりも優れた予測性能を示すか？
• RQ5 推定された隠れた成分は、六者会議や対テロ戦争といった既知の歴史的出来事とどの程度一致するか？

主な発見

• BPTFは、スパースで分散の大きなカウントテンソルにおいて、標準的な非負テンソル因子分解よりも優れた予測性能を達成する。
• 隠れた要因の点推定に幾何的期待値を用いることで、特にデータが少ない状況下でも算術期待値と同等またはそれ以上の予測性能が得られる。
• モデルは解釈可能な多辺的関係を効果的に同定する：1つの成分は2003年から2009年までの六者会議を捉えており、関係参加国の高頻度な活動と外交的行動を示す。
• 別の成分は米国主導の対テロ戦争を捉えており、2001年10月（アフガニスタン侵攻）に活動のピークが見られ、1998年8月のミサイル攻撃に対応する二次的なピークも確認される。
• 推定された因子行列は、既知の歴史的出来事と整合する一貫性のある時系列的・構造的パターンを示しており、モデルの解釈可能性を裏付ける。
• スパースで過分散なデータへの適合において、BPTFにおける変分推論は、非負テンソル因子分解における最尤推定よりも安定している。