[論文レビュー] Probabilistic Permutation Synchronization using the Riemannian Structure of the Birkhoff Polytope

Tolga Birdal, Umut Şimşekli|arXiv (Cornell University)|Apr 11, 2019

Topological and Geometric Data Analysis参考文献 102被引用数 30

ひとこと要約

本稿は、Birkhoff多面体のリーマン構造を用いた、多視点対応同期のための新しい幾何学的・確率的フレームワークを提案する。2つのアルゴリズム—MAP推定のためのBirkhoff-リーマンL-BFGSと、不確実性を考慮したサンプリングのためのBirkhoff-RLMC—を提案し、合成データおよび実データにおいて、再現率と収束速度の面で最先端の性能を達成した。また、外れ値検出に役立つ信頼性の高い信頼度マップを提供した。

ABSTRACT

We present an entirely new geometric and probabilistic approach to synchronization of correspondences across multiple sets of objects or images. In particular, we present two algorithms: (1) Birkhoff-Riemannian L-BFGS for optimizing the relaxed version of the combinatorially intractable cycle consistency loss in a principled manner, (2) Birkhoff-Riemannian Langevin Monte Carlo for generating samples on the Birkhoff Polytope and estimating the confidence of the found solutions. To this end, we first introduce the very recently developed Riemannian geometry of the Birkhoff Polytope. Next, we introduce a new probabilistic synchronization model in the form of a Markov Random Field (MRF). Finally, based on the first order retraction operators, we formulate our problem as simulating a stochastic differential equation and devise new integrators. We show on both synthetic and real datasets that we achieve high quality multi-graph matching results with faster convergence and reliable confidence/uncertainty estimates.

研究の動機と目的

• 複数の画像や3次元形状間で、グローバルな一貫性を達成する多視点対応マッチングの課題に対処すること。
• 同期パイプラインにおけるヒューリスティック法や幾何的リファインメント手法の限界を克服すること。
• Birkhoff多面体上での事後分布サンプリングを用いて、置換解に対する原理的で不確実性推定を可能にすること。
• 最近開発されたBirkhoff多面体のリーマン幾何学を、コンピュータビジョンにおける組み合わせ最適化に活用すること。
• 二重確率的行列の非自明な多様体構造に特化した、新しいリーマン最適化およびサンプリングアルゴリズムの開発

提案手法

• 置換同期におけるサイクル一貫性を形式化するため、マルコフ確率的場（MRF）に基づく新しい確率的モデルを導入する。
• 組み合わせ的置換問題を、二重確率的行列の集合であるBirkhoff多面体に緩和し、連続最適化を可能にする。
• 一次再帰作用素を用いたリーマンL-BFGSを適用し、Birkhoff多面体上での最大事後確率（MAP）推定を実行する。
• 事後分布サンプリングのための、リーマンランジュヴィンモンテカルロ（RLMC）に基づく新しい測地的確率微分方程式（SDE）を提案する。
• 計算不能な指数写像の代わりに一次再帰作用素を用いる、カスタム数値積分器を開発し、Birkhoff多面体上での効率的サンプリングを可能にする。
• 得られた事後分布サンプルを用いて、各対応の信頼度マップを推定し、外れ値検出や解のリファインメントに寄与する。

実験結果

リサーチクエスチョン

• RQ1 Birkhoff多面体のリーマン幾何学的構造を、置換同期における最適化改善に効果的に活用できるか？
• RQ2 不確実性の定量的評価を可能にする、原理的で整合性のある確率的モデルを、多視点対応マッチングに構築できるか？
• RQ3 リーマン最適化は、収束速度および解の精度の面で、既存の手法を上回るか？
• RQ4 正確な指数写像が存在しないにもかかわらず、近似再帰作用素を用いることで、Birkhoff多面体上での有効なサンプリングが可能となり、不確実性推定が達成できるか？
• RQ5 事後分布サンプリングから得られる信頼度マップは、初期誤差が存在する状況でも、対応マッチングのロバストネスを向上させられるか？

主な発見

• 提案されたBirkhoff-リーマンL-BFGSアルゴリズムは、合成データおよび実データの両方で、最先端の手法よりも高速な収束と高い再現率を達成した。
• WinebottleおよびMotorbikeデータセットでは、初期状態の再現率38.42％を最適化後39.08％に向上させ、MatchEIGおよびWangらの手法を最大6.2ポイント上回った。
• Tosca 3次元データセットでは、N=50で56.93％、N=20で40.33％の再現率を達成し、Wang らやMatchEIGを含むすべてのベースラインを上回った。
• Birkhoff-RLMCサンプラーは、局所モードを効果的に探索し、有効なサンプルを生成した。また、サンプリング中により良い解を発見する能力を示した。
• 事後分布サンプリングから得られた信頼度マップは、誤ったマッチングを効果的に特定し、初期推定値のリファインメントに役立つ可能性を示した。
• Birkhoff多面体上でのリーマン最適化とサンプリングの統合は、特にキーポoin密度が低い状況でも、劣化した初期対応に対してもロバストであることが示された。