[論文レビュー] The Unbalanced Gromov Wasserstein Distance: Conic Formulation and Relaxation

Thibault Séjourné, François‐Xavier Vialard+1 more|arXiv (Cornell University)|Sep 9, 2020

Topological and Geometric Data Analysis参考文献 47被引用数 34

ひとこと要約

任意の正の測度を有する metric measure spaces を比較するため、2つの非平衡 Gromov–Wasserstein 形式（UGW divergence および CGW distance）を導入し、理論的保証を伴う GPU 対応の効率的なアルゴリズムを提供する。

ABSTRACT

Comparing metric measure spaces (i.e. a metric space endowed with aprobability distribution) is at the heart of many machine learning problems. The most popular distance between such metric measure spaces is theGromov-Wasserstein (GW) distance, which is the solution of a quadratic assignment problem. The GW distance is however limited to the comparison of metric measure spaces endowed with a probability distribution. To alleviate this issue, we introduce two Unbalanced Gromov-Wasserstein formulations: a distance and a more tractable upper-bounding relaxation.They both allow the comparison of metric spaces equipped with arbitrary positive measures up to isometries. The first formulation is a positive and definite divergence based on a relaxation of the mass conservation constraint using a novel type of quadratically-homogeneous divergence. This divergence works hand in hand with the entropic regularization approach which is popular to solve large scale optimal transport problems. We show that the underlying non-convex optimization problem can be efficiently tackled using a highly parallelizable and GPU-friendly iterative scheme. The second formulation is a distance between mm-spaces up to isometries based on a conic lifting. Lastly, we provide numerical experiments onsynthetic examples and domain adaptation data with a Positive-Unlabeled learning task to highlight the salient features of the unbalanced divergence and its potential applications in ML.

研究の動機と目的

• probability measures を必須とせず mm-spaces を比較する必要性を動機づける。
• GW を任意の正の測度まで拡張する2つの非平衡定式を定義し、等長写像までの比較を可能にする。
• UGW と CGW の definiteness（正定性）および境界関係を含む理論的性質を確立する。
• 大規模問題向けに熵正則化と Sinkhorn イテレーションを活用した効率的数値スキームを開発する。
• 合成データおよびドメイン適応実験（positive-unlabeled learning などを含む）で手法を示す。

提案手法

• UGW を輸送項と marginals に対する二次的 ϕ-ダージュ penalties の和の下での infimum として定義し、2-同次の発散を生み出す。
• 非平衡設定で marginals を比較するための二次テンソル化された ϕ-ダージュ Dϕ⊗ を導入する。
• UGW を輸送様の項 Lc と質量の創出/破壊項に分解する Reformulation を提示し、分析を可能にする（Lemma 1）。
• Cone へリフティングし cone 距離 Д を 𝔠[ℝ+] 上で用いる Conic Gromov-Wasserstein (CGW) distance を構築し、等長写像までの距離を得る（Theorem 1）。
• CGW は UGW によって上から限界付けられる（CGW ≤ UGW）こと、および Д が cone 上の距離であるとき CGW が距離になることを示す。
• 標準条件下で UGW および CGW のミニマイザの存在を証明する（Propositions 1, 3）。
• UGWε の bi-convex、エントロピー正則化緩和を開発し、交互の Sinkhorn 型最適化（Algorithm 1）を提案する。
• CGW に対応する緩和を提供し、紧密性（tightness）に関する結果を議論する（Theorem 3）。

実験結果

リサーチクエスチョン

• RQ1 任意の正の測度を有する mm-space を等長写像まで意味のある形で比較できるのか、質量保存を要求しない場合。
• RQ2 エントロピー正則化を活用した計算的に扱いやすい非平衡類似量 GW の定義はどのように設計すべきか。
• RQ3 UGW 周辺の発散と CGW 距離との関係は何か、UGW は CGW を上から覆すことができるのか。
• RQ4 GW および CGW の bi-convex、エントロピー正則化緩和が厳密である条件は何か。
• RQ5 これらの非平衡定式は synthetic データや positive-unlabeled learning のようなドメイン適応タスクで実用的に機能するか。

主な発見

• UGW は mass conservation を緩和し、任意の正の測度を有する mm-spaces の比較を可能にする 2-homogeneous 発散を提供する。
• CGW は等長写像までの mm-space 間の真の距離を定義し、CGW は CGW ≤ UGW の下界を持つ。
• 実用的条件（コンパクト空間、適切な φ-ダージュ、λ）下で UGW および CGW のミニマイザの存在を確立。
• bi-convex でエントロピー正則化された緩和（UGWε）は GPU に優しい最適化スキームを生み出し、収束性と ML タスクでのバックプロパゲーションの基盤を提供。
• 特定のカーネル（例: 二乗距離）の場合、bi-convex 緩和が tight であり、元の問題の最適解を回復することを保証。
• 数値実験は質量不均衡への頑健性とドメイン適応および positive-unlabeled learning タスクへの整合性を示し、提供された設定で関連競合より優れるまたは同等であることを示す。