[論文レビュー] Flow-based Alignment Approaches for Probability Measures in Different Spaces

Tam Le, Nhat Ho+1 more|arXiv (Cornell University)|Oct 10, 2019

Generative Adversarial Networks and Image Synthesis参考文献 64被引用数 4

ひとこと要約

本稿では、2つのメトリック空間に存在する確率測度を比較するための新規な不一致（discrepancy）であるFlowAlignとDepthAlignを提案する。これらは、2項間距離に代えて木構造フローを活用することで、計算が高速かつスケーラブルな手法を実現する。根から各サポートへのフローを整合させることで、一変量最適輸送と同等の高速計算が可能となり、擬似距離としての理論的保証と、ベンチマークタスクにおけるベースライン比優位性を示す。

ABSTRACT

Gromov-Wasserstein (GW) is a powerful tool to compare probability measures whose supports are in different metric spaces. GW suffers however from a computational drawback since it requires to solve a complex non-convex quadratic program. We consider in this work a specific family of cost metrics, namely extit{tree metrics} for a space of supports of each probability measure, and aim for developing efficient and scalable discrepancies between the probability measures. By leveraging a tree structure, we propose to align extit{flows} from a root to each support instead of pair-wise tree metrics of supports, i.e., flows from a support to another, in GW. Consequently, we propose a novel discrepancy, named Flow-based Alignment (\FlowAlign), by matching the flows of the probability measures. We show that \FlowAlign~shares a similar structure as a univariate optimal transport distance. Therefore, \FlowAlign~is fast for computation and scalable for large-scale applications. By further exploring tree structures, we propose a variant of \FlowAlign, named Depth-based Alignment (\DepthAlign), by aligning the flows hierarchically along each depth level of the tree structures. Theoretically, we prove that both \FlowAlign~and \DepthAlign~are pseudo-distances. Moreover, we also derive tree-sliced variants, computed by averaging the corresponding \FlowAlign~/ \DepthAlign~using random tree metrics, built adaptively in spaces of supports. Empirically, we test our proposed discrepancies against other baselines on some benchmark tasks.

研究の動機と目的

• 大規模な設定において非凸な二次計画問題であるGromov-Wasserstein（GW）距離の計算非効率性を解消すること。
• サポートが異なるメトリック空間に存在する確率測度を比較するためのスケーラブルで効率的な不一致を開発すること。
• サポート空間における木メトリクスを活用し、構造的情報を保持したまま高速計算を可能とすること。
• 根から各サポートへのフローを整合させることで、GWにおける高価な2項比較を回避するFlowAlignを提案すること。
• 階層的深さレベルでのフローアライメントを可能とし、より高い精度を実現するDepthAlignへの拡張と、複数のランダムにサンプリングされた木メトリクスに基づくツリー・スレーシング変種の導出。

提案手法

• サポートに木メトリクスを定義し、効率的な計算を可能とすること。
• 根ノードから各サポートへのフローをモデル化することで、GWにおける2項比較を削減するFlowAlignを提案すること。
• FlowAlignを1変量最適輸送に類似した問題として定式化し、Sinkhornスタイルの高速計算が可能となること。
• 木構造の各深さレベルでフローを階層的に整合させるDepthAlignを導入すること。
• 複数回のランダムにサンプリングされた木メトリクス上でFlowAlignとDepthAlignを平均化することで、ツリー・スレーシング変種を導出すること。
• クラスタリングに基づくなど、適応的な木メトリクスのサンプリングを用いて、安定的かつ情報豊富な木構造を構築すること。

実験結果

リサーチクエスチョン

• RQ1 木構造サポート上でのフローに基づくアライメントは、異なる空間に存在する確率測度を比較するためのGWのスケーラブルな代替手段となり得るか？
• RQ2 根から各サポートへのフローのアライメントは、計算複雑性を低減しつつ構造的情報を保持できるか？
• RQ3 階層的深さレベルでのアライメント（DepthAlign）は、フローに基づくアライメントよりも精度を向上させられるか？
• RQ4 FlowAlignとDepthAlignのツリー・スレーシング変種は、既存のベースラインと比較して実際の性能をどのように発揮するか？
• RQ5 FlowAlign、DepthAlignと、スレーシングGWやエントロピーGWなどの他の不一致との間には、実験的にどのような関係が見られるか？

主な発見

• FlowAlignとDepthAlignは、対称性および三角不等式を満たすため、擬似距離として正当化される。
• FlowAlignは、1変量最適輸送と類似した構造的性質のおかげで、同程度の計算速度を達成する。
• FlowAlignとDepthAlignのツリー・スレーシング変種は、多様なデータセット（高次元を含む）で安定した性能を示す。
• 実験結果から、FlowAlignとDepthAlignは、スレーシングGWやエントロピーGWなどのベースラインと同等またはそれを上回ることが示された。
• 高次元データセット（例：TWITTER、CLASSIC、AMAZON）において、FlowAlignとDepthAlignは、スレーシングGWが用いる1次元投影と比較して、より優れた構造的特徴の捉え方を示した。
• 実験的関係から、FlowAlign/DepthAlignとエントロピーGWの変種との間には限られた相関関係が見られたことから、これらは異なる挙動を示し、複雑な構造を捉える上で潜在的な利点を有することが示唆された。