[論文レビュー] Multi-marginal optimal transport and probabilistic graphical models

Isabel Haasler, Rahul Singh+3 more|arXiv (Cornell University)|Jun 25, 2020

Bayesian Modeling and Causal Inference参考文献 56被引用数 10

ひとこと要約

本稿では、グラフ構造をもつコスト関数を伴うエントロピー正則化多マージナル最適輸送（MOT）と、一部の周辺分布が制約された確率的グラフィカルモデル（PGM）におけるベイズ推論との間の同値性を確立する。信念伝搬やノルムプロダクト法といったメッセージスケジューリングアルゴリズムを活用することで、MOT問題に対する効率的なソルバが導出され、木構造をとるグラフではグローバル収束を達成し、既存のPGM推論技術を用いてスケーラブルな計算が可能となる。

ABSTRACT

We study multi-marginal optimal transport problems from a probabilistic graphical model perspective. We point out an elegant connection between the two when the underlying cost for optimal transport allows a graph structure. In particular, an entropy regularized multi-marginal optimal transport is equivalent to a Bayesian marginal inference problem for probabilistic graphical models with the additional requirement that some of the marginal distributions are specified. This relation on the one hand extends the optimal transport as well as the probabilistic graphical model theories, and on the other hand leads to fast algorithms for multi-marginal optimal transport by leveraging the well-developed algorithms in Bayesian inference. Several numerical examples are provided to highlight the results.

研究の動機と目的

• エントロピー正則化多マージナル最適輸送（MOT）と、確率的グラフィカルモデル（PGM）における固定周辺分布を伴う制約付きベイズ推論との間の理論的同値性を確立すること。
• PGMでよく知られたメッセージスケジューリング手法（信念伝搬やノルムプロダクト法など）を適応することで、MOTのための効率的数値アルゴリズムを開発すること。
• グラフ構造が木である場合に、提案アルゴリズムが最適解へグローバル収束することを保証すること。
• コスト関数のグラフ構造に内在するスパarsityと局所的性質を活用することで、MOT問題のスケーラブルな計算を可能とすること。

提案手法

• 著者らは、エントロピー正則化MOT問題を、特定の周辺分布がモデル内に固定された分布である確率的グラフィカルモデルにおける制約付き推論問題に再定式化する。
• プライマル・デュアル最適化フレームワークを用いてデュアル昇上更新式を導出し、信念伝搬およびノルムプロダクト法のための閉形式のメッセージ更新式を得る。
• メッセージはデュアル変数の指数変換を経て更新され、固定周辺分布を持つノード（Γ）と自由な周辺分布を持つノードとの間で更新ルールが異なる。
• ノルムプロダクト法はMOT設定に拡張され、局所的で反復的なメッセージスケジューリングにより、効率的な計算が可能となる。
• 木構造をとるグラフでは、この手法がMOT問題の最適解へグローバルに収束することが保証される。
• コスト関数のグラフィカル構造を活用することで計算複雑度を低減し、高次元MOT問題に対してもスケーラブルな解法が得られる。

実験結果

リサーチクエスチョン

• RQ1 エントロピー正則化多マージナル最適輸送は、固定周辺分布を伴う確率的グラフィカルモデルにおける制約付き推論問題として解釈可能か？
• RQ2 PGMで既に確立されたメッセージスケジューリングアルゴリズム（例：信念伝搬、ノルムプロダクト法）は、構造的コスト関数を伴うMOT問題にどのように適応可能か？
• RQ3 グラフ構造が木である場合、提案アルゴリズムの収束挙動はいかなるものか？
• RQ4 コスト関数のグラフィカル構造を活用することで、MOTの計算複雑度はどの程度低減可能か？
• RQ5 導出されたメッセージ更新式は、Sinkhorn反復や信念伝搬といった既知のアルゴリズムとどのように関係しているか？

主な発見

• グラフ構造をもつコスト関数を伴うエントロピー正則化MOT問題は、固定周辺分布を伴うPGMにおけるベイズ推論問題と数学的に同値である。
• 提案アルゴリズムは、グラフィカルモデルが木構造である場合、最適解へグローバルに収束することが保証され、PGMにおける理論的保証がMOTへ拡張される。
• 固定周辺分布を持つノード（j ∈ Γ）では、メッセージ更新式が与えられた周辺分布μj(xj)に依存するが、自由な周辺分布を持つノードでは、事前分布φj(xj)に依存する。
• ノルムプロダクト法はMOT設定に成功裏に拡張され、MOTにおける標準的な反復スケーリング法の代替として、スケーラブルで効率的な手法が得られる。
• 数値例により、本手法の有効性が実証され、合成的および実世界のMOTインスタンスにおいて高速な収束と高精度な解が得られることが示された。
• 導出されたメッセージ更新式は、既知のアルゴリズムと整合的である：コスト関数が可分で周辺分布がディラック関数である場合、本手法は標準的最適輸送に帰着する。