[論文レビュー] The Ordered Matrix Dirichlet for State-Space Models

Niklas Stoehr, Benjamin J. Radford+2 more|arXiv (Cornell University)|Dec 8, 2022

Opinion Dynamics and Social Influence被引用数 5

ひとこと要約

本稿では、状態空間モデルにおける順序付き行列ディリクレ（OMD）事前分布を導入し、発生行列と遷移行列に確率的順序を課すことにより、より高い潜在状態がより対立的行動を生成するようにしている。OMDはスティック・ブレイキング構成を用いて行ごとに確率質量が右方向にシフトするのを保証し、国際関係における協力から対立へのダイナミクスなど、現実世界の順序構造を反映する解釈可能な、うまく順序付けられた潜在状態を可能にする。標準的なディリクレ事前分布と比較して、解釈性が優れており、予測性能も競争力がある。

ABSTRACT

Many dynamical systems in the real world are naturally described by latent states with intrinsic orderings, such as "ally", "neutral", and "enemy" relationships in international relations. These latent states manifest through countries' cooperative versus conflictual interactions over time. State-space models (SSMs) explicitly relate the dynamics of observed measurements to transitions in latent states. For discrete data, SSMs commonly do so through a state-to-action emission matrix and a state-to-state transition matrix. This paper introduces the Ordered Matrix Dirichlet (OMD) as a prior distribution over ordered stochastic matrices wherein the discrete distribution in the kth row stochastically dominates the (k+1)th, such that probability mass is shifted to the right when moving down rows. We illustrate the OMD prior within two SSMs: a hidden Markov model, and a novel dynamic Poisson Tucker decomposition model tailored to international relations data. We find that models built on the OMD recover interpretable ordered latent structure without forfeiting predictive performance. We suggest future applications to other domains where models with stochastic matrices are popular (e.g., topic modeling), and publish user-friendly code.

研究の動機と目的

• 標準的な状態空間モデルの潜在状態に内在的な順序が欠如している問題に対処すること。これは、ラベルの入れ替えを引き起こし、現実世界の順序的ダイナミクスを反映しない。
• 確率的優位性を確立するための事前分布を設計すること。これにより、確率的行列の各行間に順序が保証され、順序付けられた遷移と発生が実現される。
• OMDに基づくモデルが、予測性能を損なわず、解釈可能な、うまく順序付けられた潜在構造を回復できることを示すこと。
• 国際関係を越えて、トピックモデリングや段階的変化の時間系列など、順序データを扱う他の分野へのOMDの適用範囲を拡大すること。
• Pyroなどの確率的プログラミングフレームワークで使いやすく、モジュール化された実装を提供し、広範な採用を促進すること。

提案手法

• OMDは、バリアブルをベータ分布に従わせ、それらをソートすることで、確率的行列の連続する行間に確率的優位性を強制するスティック・ブレイキング過程によって定義される。
• この事前分布は、k番目の行の累積分布関数（CDF）が、(k+1)番目の行のCDF以上であることを保証し、行列全体にわたり確率質量が右方向にシフトするようにする。
• OMDは、隠れマルコフモデルや動的ポissonタッカー分解モデルを含む、発生行列および遷移行列の両方の事前分布として適用される。
• スケーラブルな事後分布近似を実現するため、ベイズフレームワークと変分推論を用い、大規模なイベントデータへの効率的学習を可能にする。
• Pyroに実装されており、既存の確率的プログラミングワークフローへの容易な統合が可能で、コード変更を最小限に抑えられる。
• 本手法は、真の順序が既知の合成データと、ICEWSデータセットからの実際の国際関係イベントデータの両方で検証された。

実験結果

リサーチクエスチョン

• RQ1 潜在状態の状態空間モデルにおいて、観測された行動の順序構造を反映するように、内在的な順序を強制する事前分布を設計できるか？
• RQ2 順序データにおいて、OMD事前分布は標準的なディリクレ事前分布と比較して、解釈性と予測性能の両面で優れているか？
• RQ3 真の潜在状態の順序が既知の合成データにおいて、OMDベースのモデルは真の順序を回復できるか？
• RQ4 実世界の国際関係イベントデータにおいて、OMD事前分布は予測および欠損値補完性能を向上させるか？
• RQ5 トピックモデリングや段階的遷移の時間系列など、確率的行列に依存する他のモデルや分野へ、OMDを一般化できるか？

主な発見

• 合成データでは、OMDベースのモデルが標準的なディリクレ事前分布を著しく上回り、真の潜在状態順序の回復精度が高く、状態系列の再構築精度も優れていた。
• 実際の国際関係データでは、ベースラインと同等またはより優れた予測性能を達成しながら、より解釈可能な潜在状態を生成した。
• OMD事前分布は、ラベルの入れ替えを効果的に防止し、理論的期待に一致する、安定的かつうまく順序付けられた潜在状態を生成した。
• OMD事前分布を備えた動的ポアソンタッカー分解モデルは、時間経過に伴う国同士の関係パターンの段階的変化をうまく捉え、現実世界の対立の激化を反映した。
• OMDは、グローバルな気温変化の時間系列を扱うHMMや、語の順序付けを目的とした修正版LDAなど、他のモデルに対しても成功裏に適応され、広範な適用可能性が示された。
• オープンソースのコードベースにより、PyroにおけるOMDベースのモデルの容易なデプロイが可能となり、実装のオーバーヘッドを最小限に抑えられる。