[論文レビュー] Reparameterizing the Birkhoff Polytope for Variational Permutation Inference

Scott W. Linderman, Gonzalo E. Mena+3 more|arXiv (Cornell University)|Oct 25, 2017

Genome Rearrangement Algorithms被引用数 27

ひとこと要約

本稿では、温度制御付きスティック・ブレイキング過程と丸め変換を用いて、Birkhoff多面体の微分可能で逆写像可能な再パrameterizationを導入し、置換行列上の効率的な確率的変分推論を可能にした。この手法は、特に複数の生物学的標本から得られる情報を統合する神経身元同定タスクにおいて、MCMC や MAP のベースラインと比較してより速い収束とより優れた事後分布近似を達成した。

ABSTRACT

Many matching, tracking, sorting, and ranking problems require probabilistic reasoning about possible permutations, a set that grows factorially with dimension. Combinatorial optimization algorithms may enable efficient point estimation, but fully Bayesian inference poses a severe challenge in this high-dimensional, discrete space. To surmount this challenge, we start with the usual step of relaxing a discrete set (here, of permutation matrices) to its convex hull, which here is the Birkhoff polytope: the set of all doubly-stochastic matrices. We then introduce two novel transformations: first, an invertible and differentiable stick-breaking procedure that maps unconstrained space to the Birkhoff polytope; second, a map that rounds points toward the vertices of the polytope. Both transformations include a temperature parameter that, in the limit, concentrates the densities on permutation matrices. We then exploit these transformations and reparameterization gradients to introduce variational inference over permutation matrices, and we demonstrate its utility in a series of experiments.

研究の動機と目的

• 置換行列上のベイズ推論の課題に取り組むこと。置換行列は次元に応じて階乗的に増加する高次元離散空間である。
• マッチング、トラッキング、ランク付けなどの組合せ構造を含む問題における、スケーラブルで効率的な変分推論を可能にすること。
• 勾配ベース最適化を可能にする再パrameterizationを通じて、置換行列の連続的リラクゼーションを開発すること。
• 特に C. elegans における神経身元整合化のための階層モデルに置換推論を統合すること。
• 収束速度と事後分布の質において、MCMC や MAP や単純な変分推論といった既存手法を上回ること。

提案手法

• 非制約実数ベクトルから Birkhoff多面体（二重確率的行列）への逆写像可能で微分可能なスティック・ブレイキング変換を提案する。
• 温度制御付き丸めマップを導入し、Birkhoff多面体内の点を零温度極限で置換行列へ集中させる。
• 再パrameter化勾配を用いて、置換行列上の変分事後分布近似のエンドツーエンド学習を可能にする。
• 最適化中に二重確率的制約を満たすために Sinkhorn-Knopp アルゴリズムを用いる。
• 構造的制約（例：ニューロン位置の事前分布）を組み込むために、パラメータ行列 M のエントリをゼロにすることで可能な置換を制限する。
• 複数匹のミミズにおける潜在的動的行列 W と置換行列 X^{(j)} を同時に推論する階層ベイズモデル内で本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 非制約空間から Birkhoff多面体への微分可能で逆写像可能な変換は、変分推論のための勾配フローを保持しつつ可能か？
• RQ2 温度制御付き丸め機構は、零温度極限で変分事後分布を置換行列に集中させることができるか？
• RQ3 この再パrameterizationは、実世界の神経データ問題において MCMC や MAP よりも速く、より正確なベイズ推論を可能にするか？
• RQ4 部分的な身元知識を持つ複数の生物学的標本から情報を統合する状況では、本手法はどの程度の性能を示すか？
• RQ5 複雑な構造的制約を伴う高次元置換推論問題にもスケーラブルに適用可能か？

主な発見

• 提案手法は、局所的なメトロポリス・ハスティングス提案に依存する MCMC と比較して、著しく速い収束を達成した。
• 単純な変分推論では置換構造を強制できないため、本手法はそれよりも優れた事後分布近似を達成した。
• 多数の候補ニューロンと疎な身元知識がある状況では、適切な制約を組み込んだベイズ的手法が MAP 評価を上回った。
• 高い事後分散と複数匹のミミズにおける多様なサンプルから、本手法が置換推論における不確実性を適切に捉えていることが示された。
• 複数匹のミミズからのデータ統合が推論性能を向上させることを示しており、階層モデルの価値を裏付けた。
• QAPソルバーが計算的に高価な状況においても、本手法は収束速度と解の質の両面で MAP 評価を上回った。