[論文レビュー] Fused Gromov-Wasserstein distance for structured objects: theoretical foundations and mathematical properties

Titouan Vayer, Laëtitia Chapel+3 more|arXiv (Cornell University)|Nov 7, 2018

Markov Chains and Monte Carlo Methods参考文献 30被引用数 22

ひとこと要約

本稿では、凸的トレードオフを介してワッサーシュタイン距離とグロモフ・ワッサーシュタイン距離を組み合わせることで、構造的対象における特徴および構造的情報を統合的にモデル化する新しい最適輸送距離、Fused Gromov-Wasserstein (FGW) 距離を導入する。主な貢献は、FGWの距離性、補間性、測地線性、濃縮性といった厳密な理論的枠組みを確立した点であり、グラフの重心計算やメッシュ補間への応用を含む。

ABSTRACT

Optimal transport theory has recently found many applications in machine learning thanks to its capacity for comparing various machine learning objects considered as distributions. The Kantorovitch formulation, leading to the Wasserstein distance, focuses on the features of the elements of the objects but treat them independently, whereas the Gromov-Wasserstein distance focuses only on the relations between the elements, depicting the structure of the object, yet discarding its features. In this paper we propose to extend these distances in order to encode simultaneously both the feature and structure informations, resulting in the Fused Gromov-Wasserstein distance. We develop the mathematical framework for this novel distance, prove its metric and interpolation properties and provide a concentration result for the convergence of finite samples. We also illustrate and interpret its use in various contexts where structured objects are involved.

研究の動機と目的

• 構造的対象に特徴と構造の両方の情報を同時に符号化する統一的最適輸送フレームワークを構築すること。
• 一般の測度論的設定におけるFused Gromov-Wasserstein (FGW) 距離の理論的基盤を確立すること。
• FGWが距離性、ワッサーシュタイン距離とグロモフ・ワッサーシュタイン距離の間の補間性、および一定速度の測地線といった主要な数学的性質を満たすことを証明すること。
• 有限標本推定における収束を保証する濃縮不等式を提供すること。
• グラフの重心計算やメッシュ補間といった、構造的データを扱う実用的応用におけるFGWの有効性を示すこと。

提案手法

• 特徴空間および構造空間上の結合確率測度として構造的対象を形式化し、属性と関係的構造の両方を同時にモデル化可能にする。
• FGW距離を、トレードオフ係数 α ∈ (0,1) でパラメータ化されたワッサーシュタイン距離とグロモフ・ワッサーシュタイン距離の凸結合として定義する。
• 確率測度間の結合を最小化する関連コスト関数に基づく最適輸送定式化を通じて、FGW距離を確立する。
• 適切な条件下で、FGW距離が構造的対象の空間上で距離関数として成立することを証明する。対称性、同一対象の同一性、および三角不等式を含む。
• α が 1 から 0 に変化する際、FGW距離がワッサーシュタイン距離とグロモフ・ワッサーシュタイン距離の間を連続的に補間することを示す。
• 最適な結合を用いて構造的対象間の一定速度の測地線を構築し、その一意性と元の距離構造との等価性を証明する。

実験結果

リサーチクエスチョン

• RQ1 構造的対象における特徴および構造的情報を統合的にモデル化できる単一の最適輸送距離を構築可能か？
• RQ2 Fused Gromov-Wasserstein距離は、構造的確率測度の空間上で距離の公理を満たすか？
• RQ3 トレードオフパラメータ α の変化に伴い、FGW距離はワッサーシュタイン距離とグロモフ・ワッサーシュタイン距離の間をどのように補間するか？
• RQ4 与えられた距離構造下で、FGWフレームワークにおける測地線は一定速度であり、かつ一意的か？
• RQ5 有限標本推定下におけるFGW距離の濃縮挙動はいかなるものか？

主な発見

• Fused Gromov-Wasserstein距離は、構造的対象の空間上で有効な距離関数であることが証明され、対称性、同一対象の同一性、および三角不等式を満たす。
• トレードオフパラメータ α が 1 から 0 に変化するに従い、FGW距離はワッサーシュタイン距離とグロモフ・ワッサーシュタイン距離の間を連続的に補間する。測地線解析を通じて、補間の全範囲が確立された。
• 任意の二つの構造的対象間には、FGW距離に基づく一定速度の測地線が存在し、ややいなごろの正則性条件のもとで一意的である。
• 二つの構造的対象間の測地線経路は、最適輸送計画における押し出し結合に等価であり、幾何的構造と最適結合を結びつける。
• 濃縮不等式が導出され、標本サイズおよび潜在空間の複雑さに依存するレートで、経験的FGW距離が真の距離に収束することを保証する。
• FGWフレームワークにより、構造的最適輸送重心の有効な計算が可能となり、グラフクラスタリングおよび3次元メッシュ補間のタスクで実証された。