[論文レビュー] Optimal Transport for structured data with application on graphs

Titouan Vayer, Laëtitia Chapel+3 more|arXiv (Cornell University)|May 23, 2018

Complexity and Algorithms in Graphs被引用数 141

ひとこと要約

FGW距離を導入し、特徴と構造を同時に考慮してグラフ（構造データ）を比較し、最先端のグラフ分類と重心計算を示す。WassersteinとGromov-Wassersteinを単一の枠組みに統合する。

ABSTRACT

This work considers the problem of computing distances between structured objects such as undirected graphs, seen as probability distributions in a specific metric space. We consider a new transportation distance (i.e. that minimizes a total cost of transporting probability masses) that unveils the geometric nature of the structured objects space. Unlike Wasserstein or Gromov-Wasserstein metrics that focus solely and respectively on features (by considering a metric in the feature space) or structure (by seeing structure as a metric space), our new distance exploits jointly both information, and is consequently called Fused Gromov-Wasserstein (FGW). After discussing its properties and computational aspects, we show results on a graph classification task, where our method outperforms both graph kernels and deep graph convolutional networks. Exploiting further on the metric properties of FGW, interesting geometric objects such as Fréchet means or barycenters of graphs are illustrated and discussed in a clustering context.

研究の動機と目的

• 構造化データ（例：グラフ）を特徴と構造の空間上の確率測度として比較する問題を動機付け、形式化する。
• FGW距離を提案し、特徴の類似性と構造的類似性を最適輸送で融合する。
• FGWを計算するアルゴリズムを開発する（q=2のCG、ラインサーチ、重心のためのBCD）とその特性を分析する。
• グラフ分類のベンチマークと非教師付きグラフクラスタリング／重心アプリケーションでFGWを実証する。

提案手法

• グラフを特徴と構造の積集合空間上の確率測度として表現する： μ = sum h_i δ_(x_i,a_i)。
• グラフのヒストグラムに対応させつつ、質量をグラフ間で輸送するカップリング集合 Π(h,g) を定義する。
• FGWコスト E_q を特徴輸送コストと内部/外部構造距離のトレードオフ α で結合する。
• FGWが Wasserstein（α→0）と Gromov-Wasserstein（α→1）の間を補間し、メトリック（q=1）または準メトリック（q>1）となることを証明する。
• 最適化手順を提供する： (i) q=2 のCGアルゴリズムと勾配およびOTのサブ問題、 (ii) ステップサイズのラインサーチ、 (iii) FGW重心のためのBCD の閉形式更新で C および A の更新。
• 深層学習やより大規模なグラフへの拡張性に関する議論。

実験結果

リサーチクエスチョン

• RQ1 構造化オブジェクト（グラフ）の特徴と構造を同時に考慮する距離を最適輸送で定義できるか？
• RQ2 FGWは Wassersteinと Gromov-Wasserstein距離とどう関係し、一般化するのか？
• RQ3 離散的なグラフに対してFGWを効率的に計算できるか、グラフ分類とクラスタリングに有効か？
• RQ4 FGWから導かれる幾何学的対象物（例：重心）とは何で、クラスタリングと分析にどう活用できるか？

主な発見

• FGWは特徴の極限で Wasserstein に、構造の極限で Gromov-Wasserstein に収束する、特徴と構造を同時に考慮するデータ間距離を提供する（α の補間）。
• FGWは複数のグラフ分類ベンチマークで最先端または競争力のある精度を達成し、ベクトル値属性および離散属性のケースで、カーネルや一部の深層手法を上回ることが多い。
• FGWは意味のあるグラフの重心（Fréchet平均）をサポートし、クラスタリングとクラスタの代表的グラフを明らかにする。
• FGWは、q=1 に対してメトリックで、条件付きで、q>1 では準メトリックであり、幾何学的解釈（例：測地線、重心）を可能にする。
• 本論文はFGWの有用性を supervised（分類）と unsupervised（クラスタリング/重心）タスクの両方で示している。