[論文レビュー] Inference with Aggregate Data: An Optimal Transport Approach

Rahul Singh, Isabel Haasler+3 more|arXiv (Cornell University)|Mar 31, 2020

Bayesian Modeling and Causal Inference参考文献 50被引用数 15

ひとこと要約

本稿では、多マージン最適輸送理論を用いて集計データでのフィルタリングに向けた効率的で収束性を有するアルゴリズム、Sinkhorn Belief Propagation (SBP) を提案する。推論問題をグラフィカルモデルに整合した構造的マルチマージン最適輸送問題に再定式化し、エントロピー正則化を施すことで、Sinkhornアルゴリズムを活用して多項式時間計算量と木構造グラフにおけるグローバル収束性を達成する。従来手法に比べ安定性と精度の面で優れている。

ABSTRACT

We consider inference (filtering) problems over probabilistic graphical models with aggregate data generated by a large population of individuals. We propose a new efficient belief propagation type algorithm over tree-structured graphs with polynomial computational complexity as well as a global convergence guarantee. This is in contrast to previous methods that either exhibit prohibitive complexity as the population grows or do not guarantee convergence. Our method is based on optimal transport, or more specifically, multi-marginal optimal transport theory. In particular, we consider an inference problem with aggregate observations, that can be seen as a structured multi-marginal optimal transport problem where the cost function decomposes according to the underlying graph. Consequently, the celebrated Sinkhorn/iterative scaling algorithm for multi-marginal optimal transport can be leveraged together with the standard belief propagation algorithm to establish an efficient inference scheme which we call Sinkhorn belief propagation (SBP). We further specialize the SBP algorithm to cases associated with hidden Markov models due to their significance in control and estimation. We demonstrate the performance of our algorithm on applications such as inferring population flow from aggregate observations. We also show that in the special case where the observations are generated by a single individual, our algorithm naturally reduces to the standard belief propagation algorithm.

研究の動機と目的

• 集計された集団レベルのデータ（例：カウントやヒストограм）しか入手できない状況において、信頼性と効率性に優れた確率的グラフィカルモデルにおける推論を解決すること。
• NLBP（不安定性、収束保証なし） や Bethe-RDA（観測モデルが異なる）といった従来手法の限界を克服し、新たな推論フレームワークを構築すること。
• 理論的裏付けがあり、収束性を有し、計算的にも効率的な、集計観測値を用いたフィルタリングのためのアルゴリズムを確立すること。
• 隠れマルコフモデル（HMM）に特化させることで、制御、推定、モビリティトラッキングへの応用を可能にすること。
• 鳥類の渡りや人間の群衆流れといった実世界のシナリオにおいて、スパarsなセンサデータ条件下でもアルゴリズムの頑健性を示すこと。

提案手法

• グラフィカルモデルの構造に従って分解されるコスト関数を持つ、構造的マルチマージン最適輸送（MOT）問題として集計推論問題を再定式化する。
• MOT問題にエントロピー正則化を適用し、効率的な計算に向けたSinkhornアルゴリズムの利用を可能にする。
• Sinkhornアルゴリズムを信念伝搬の原則と統合し、Sinkhorn Belief Propagation（SBP）アルゴリズムを構築する。
• 木構造グラフのトポロジーとエントロピー正則化の性質を活用することで、収束性と多項式時間計算量を保証する。
• HMMにSBPを特化させ、標準の前向き後ろ向きアルゴリズムを一般化する集団的前向き後ろ向きアルゴリズムを導出する。
• 推定精度の評価のため、特にループを持つグラフにおいて、凸最適化をベンチマークとして用いる。

実験結果

リサーチクエスチョン

• RQ1 収束保証と多項式時間計算量を有する信念伝搬風のアルゴリズムを、集計データ推論に適用可能に設計できるか？
• RQ2 マルチマージン最適輸送理論を活用することで、グラフィカルモデル上での集計観測における構造的依存関係をどのようにモデル化できるか？
• RQ3 提案されたSBPアルゴリズムは、NLBP や Bethe-RDA に比べ、収束安定性と推定精度の面で優れているか？
• RQ4 アルゴリズムは、集団レベルのトラッキング応用に向け、隠れマルコフモデルに効果的に特化できるか？
• RQ5 スパース観測条件、例えばモビリティトラッキングにおける限られたセンサカバレッジ下でも、SBPはどの程度の性能を示すか？

主な発見

• NLBPとは異なり、SBPは木構造グラフにおいてグローバル収束性と多項式時間計算量を達成する。
• NLBPとは異なり、真の周辺分布と推定周辺分布の1ノルム距離が単調に減少する。NLBPはダミングなしでは不安定性を示す。
• シミュレーションによるバードマグレーショングループと人間の移動行動の例から、100人および10,000人のエージェントという異なる集団規模に対しても、SBPは安定した性能を維持する。
• ループを持つグラフにおいても、SBPは正確な周辺推定値に収束する。1ノルム距離の観点から、5つの異なるランダムシードに対して収束が観察された。
• Wi-Fiホットスポットベースのトラッキング（20×20グリッド上に16台のセンサ）のようなスパースセンサデータ条件下でも、SBPは多モーダルな集団分布を効果的に推定できる。
• 単一の個人の極限において、SBPは標準的な信念伝搬に還元され、古典的推論との一貫性が確認された。