[論文レビュー] Fast Tree Variants of Gromov-Wasserstein

Tam Le, Nhat Ho+1 more|arXiv (Cornell University)|Oct 10, 2019

Human Pose and Action Recognition参考文献 41被引用数 5

ひとこと要約

本稿では、根から葉へのフローを用いて確率測度をモデル化する木構造の距離を活用することで、Gromov-Wasserstein (GW) の2つの効率的な木ベースの変種、Flow-based Tree GW (FlowTGW) と Depth-based Tree GW (DepthTGW) を提案する。木構造を活用することにより、両手法はGWの計算複雑度を低減し、理論的保証を維持したまま高速かつスケーラブルな計算を実現する。

ABSTRACT

Gromov-Wasserstein (GW) is a powerful tool to compare probability measures whose supports are in different metric spaces. GW suffers however from a computational drawback since it requires to solve a complex non-convex quadratic program. We consider in this work a specific family of ground metrics, namely extit{tree metrics} for a space of supports of each probability measure in GW. By leveraging a tree structure, we propose to use extit{flows} from a root to each support to represent a probability measure whose supports are in a tree metric space. We consequently propose a novel tree variant of GW, namely flow-based tree GW (\FlowTGW), by matching the flows of the probability measures. We then show that \FlowTGW~shares a similar structure as a univariate optimal transport distance. Therefore, \FlowTGW~is fast for computation and can scale up for large-scale applications. In order to further explore tree structures, we propose another tree variant of GW, namely depth-based tree GW (\DepthTGW), by aligning the flows of the probability measures hierarchically along each depth level of the tree structures. Theoretically, we prove that both \FlowTGW~and \DepthTGW~are pseudo-distances. Moreover, we also derive tree-sliced variants, computed by averaging the corresponding tree variants of GW using random tree metrics, built adaptively in spaces of supports. Finally, we test our proposed discrepancies against other baselines on some benchmark tasks.

研究の動機と目的

• サポート空間における木構造の距離を活用することで、Gromov-Wasserstein (GW) の高い計算コストを軽減すること。
• 理論的に整合性を保ちつつ大規模応用を可能にする、効率的なGWの変種を開発すること。
• 木の距離上での階層的およびフローに基づく確率測度の表現を探索し、GWの計算を簡素化すること。
• 適応的に木の距離をサンプリングする木スライスド変種を提案し、頑健性と一般化性能を向上させること。
• ベンチマークタスク上で提案手法のスケーラビリティと有効性を実証すること。

提案手法

• 根から各サポート点へのフローレプレゼンテーションを用いて、木の距離空間上での確率測度をモデル化する。
• 2つの確率測度のフローをマッチングすることでFlowTGWを導入し、GWを1変数最適輸送に類似した構造に還元する。
• 木の各深さレベルでフローを階層的に整合させることでDepthTGWを設計し、構造的でレベルごとの比較を可能にする。
• 両手法が擬似距離であることを証明し、理論的妥当性を保証する。
• 複数のランダムに生成された木の距離上でFlowTGWおよびDepthTGWの計算を平均化することで、木スライスド変種を構築する。
• 木構造を活用してGW問題をより取り扱いやすい形に簡略化し、高速な計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 木構造の距離を用いることで、Gromov-Wassersteinの計算コストを顕著に低減しつつ、その理論的性質を保持できるか？
• RQ2 確率測度を木上のフローとしてモデル化することは、GWに基づく比較の精度とスケーラビリティにどのように影響するか？
• RQ3 木構造における階層的深さレベルの整合性は、より構造的かつ効率的なGWの変種をもたらすか？
• RQ4 提案されたGW手法の木スライスド変種は、ベンチマークタスクにおける頑健性と性能を向上させるか？
• RQ5 FlowTGWとDepthTGWは、木ベースの表現下でも擬似距離の性質をどの程度維持するか？

主な発見

• FlowTGWとDepthTGWの両方が、擬似距離であることが証明され、理論的整合性が保証される。
• フローおよび深さ構造を活用した木ベースの定式化により、GWの複雑度が低減され、高速な計算が可能になる。
• 両手法は1変数最適輸送に類似した構造のおかげで、大規模応用においても効率的にスケーリングできる。
• 木スライスド変種は、複数のランダムな木の距離上で計算を平均化することで性能が向上し、頑健性が向上する。
• ベンチマークタスクにおける実験的評価により、既存のベースラインと比較して、提案手法の有効性と競争力が確認された。