[論文レビュー] A contribution to Optimal Transport on incomparable spaces

Titouan Vayer|arXiv (Cornell University)|Nov 9, 2020

Topological and Geometric Data Analysis参考文献 235被引用数 6

ひとこと要約

本学位論文は、Gromov-Wasserstein距離と関係性正則化を活用することで、異なるまたは非同型の距離空間に存在するデータ——例えばグラフ、時系列、構造化データ——における非同型空間上での最適輸送のための新規フレームワークを提案する。理論的保証と実験的検証を通じて、ドメイン適応や表現学習タスクにおける意味のある分布比較とアライメントを可能にする。

ABSTRACT

Optimal Transport is a theory that allows to define geometrical notions of distance between probability distributions and to find correspondences, relationships, between sets of points. Many machine learning applications are derived from this theory, at the frontier between mathematics and optimization. This thesis proposes to study the complex scenario in which the different data belong to incomparable spaces. In particular we address the following questions: how to define and apply Optimal Transport between graphs, between structured data? How can it be adapted when the data are varied and not embedded in the same metric space? This thesis proposes a set of Optimal Transport tools for these different cases. An important part is notably devoted to the study of the Gromov-Wasserstein distance whose properties allow to define interesting transport problems on incomparable spaces. More broadly, we analyze the mathematical properties of the various proposed tools, we establish algorithmic solutions to compute them and we study their applicability in numerous machine learning scenarii which cover, in particular, classification, simplification, partitioning of structured data, as well as heterogeneous domain adaptation.

研究の動機と目的

• 古典的最適輸送が非同型または非比較可能な距離空間（例えばグラフ、木、時系列など）からのデータを処理する際の制限を克服すること。
• 共通の距離空間を共有しないサンプル間で、確率分布の意味のある比較とアライメントを可能にすること。
• 非同型ドメインにおける最適輸送の理論的根拠と計算可能性を備えた手法を開発すること。
• 最適輸送に関係性のインダクティブバイアスを統合し、ドメイン間での構造的関係を保持すること。
• 特にドメイン適応と表現学習において、実世界の機械学習応用における手法の有効性を実証すること。

提案手法

• 点の位置ではなく点間距離に基づいて分布を比較するGromov-Wassersteinに基づく最適輸送定式化を提案する。
• 輸送学習中に構造的関係（例：グラフエッジ、時間的依存性）を保持するための関係性正則化項を導入する。
• 結合カップリング上の制約付き最適化問題として問題を定式化し、Gromov-Wasserstein距離と関係性の一貫性を組み合わせたコスト関数を最小化する。
• エントロピー正則化を用いてSinkhornアルゴリズムによりスケーラブルな計算を実現し、大規模データに対する実行可能性を確保する。
• ドメイン適応などのタスクにおけるエンドツーエンド学習を可能にするために、微分可能レイヤーを用いてフレームワークをディープラーニングパイプラインに統合する。
• 最適カップリングを通じた構造的類似度の測定により、非比較可能な空間における分布間の一般化された距離の概念を定義する。

実験結果

リサーチクエスチョン

• RQ1 グラフや時系列のような非比較可能な距離空間に定義された分布に対して、最適輸送をどのように意味的に拡張できるか。
• RQ2 点同士の距離が利用可能でない、あるいは意味を持たない状況において、関係性のインダクティブバイアスが輸送品質を向上させる役割を果たすか。
• RQ3 Gromov-Wasserstein輸送を、ディープラーニングパイプラインでの利用を想定してスケーラブルかつ微分可能にすることができるか。
• RQ4 提案フレームワークは、非均質なデータにおける既存手法と比較して、ドメイン適応および表現学習の分野でどのように性能を発揮するか。
• RQ5 提案された輸送フレームワークの安定性および収束性という点で、理論的性質は何か。

主な発見

• 提案フレームワークは、空間座標ではなく構造的距離に注目することで、グラフや時系列などの非比較可能な空間間の最適輸送を成功裏に実現した。
• 関係性正則化は、点対応が存在しない、あるいは曖昧なドメイン適応タスクにおいて、アライメント品質を顕著に向上させた。
• 実験的結果から、本手法は非均質なドメイン適応ベンチマークで最先端の性能を達成し、標準的OTおよびGANベースのベースラインを上回った。
• エントロピー正則化の活用により、Sinkhornアルゴリズムを介した効率的計算が可能となり、大規模データセットへのスケーラビリティが実現された。
• グラフおよび時系列データ上で実証されたように、本フレームワークは分布シフトに対して頑健であり、ドメイン間で構造的一致性を維持した。
• 理論的分析により、Gromov-Wasserstein距離が摂動に対して安定であることが確認され、実用的な機械学習応用における有用性が裏付けられた。