[論文レビュー] Cycle Consistent Probability Divergences Across Different Spaces

Zhengxin Zhang, Youssef Mroueh+2 more|arXiv (Cornell University)|Nov 22, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 4

ひとこと要約

本稿では、異なるメトリック空間上に定義された確率分布の間の差違を測るための新規な差違尺度として、非対称な双方向的Gromov-Monge（UBGM）発散を導入する。この尺度は、2つのプッシュフォワード写像を用いて、サイクル整合的かつ等長性を保つ写像を強制する。UBGMは核化され、一般化最大平均差（GMMD）として再定式化され、収束速度が証明され、未知のデータへの一般化が示された。これにより、サイクルGANの理論的基盤が提供され、異種空間間での効率的かつスケーラブルなマッチングが可能となる。

ABSTRACT

Discrepancy measures between probability distributions are at the core of statistical inference and machine learning. In many applications, distributions of interest are supported on different spaces, and yet a meaningful correspondence between data points is desired. Motivated to explicitly encode consistent bidirectional maps into the discrepancy measure, this work proposes a novel unbalanced Monge optimal transport formulation for matching, up to isometries, distributions on different spaces. Our formulation arises as a principled relaxation of the Gromov-Haussdroff distance between metric spaces, and employs two cycle-consistent maps that push forward each distribution onto the other. We study structural properties of the proposed discrepancy and, in particular, show that it captures the popular cycle-consistent generative adversarial network (GAN) framework as a special case, thereby providing the theory to explain it. Motivated by computational efficiency, we then kernelize the discrepancy and restrict the mappings to parametric function classes. The resulting kernelized version is coined the generalized maximum mean discrepancy (GMMD). Convergence rates for empirical estimation of GMMD are studied and experiments to support our theory are provided.

研究の動機と目的

• 異なる、互換性のないメトリック空間上に定義された確率分布間の差違を測るという課題に対処すること。
• データポイント間の一貫した双方向的写像を明示的に符号化する、計算的に効率的で一般化可能な差違尺度を開発すること。
• サイクル整合的写像を原理的最適輸送定式化として形式化することにより、サイクルGANの理論的枠組みを提供すること。
• パラメトリックモデル（例：ニューラルネットワーク）との実用的利用を可能にするために、差違を核化することにより、スケーラブルな推定を可能にすること。
• 標準的な滑らかさおよび核関数の仮定の下で、経験的GMMD推定の収束速度を確立し、未知のデータに対する一般化を検証すること。

提案手法

• Gromov-Hausdorff距離の緩和として、非対称双方向的Gromov-Monge（UBGM）発散を提案。2つのサイクル整合的写像を用いて、各分布を他方の空間にプッシュフォワードする。
• 写像の合成が距離構造をほぼ保存することを要件とすることで、サイクル整合性を課す。これにより、一貫した対応関係が保証される。
• 写像をパラメトリック関数クラス（例：ニューラルネットワーク）に制限し、UBGMを核化して一般化最大平均差（GMMD）を導出する。
• 核関数および関数クラスの正則性条件の下で、GMMDの2標本経験的推定の収束速度を導出する。
• アモルタイズド推論を採用：訓練データのサブセットで学習を行い、学習済み写像を未学習のデータポイントに適用して一般化性能を評価する。
• テストデータにおけるプッシュフォワード写像の品質を定量的に評価するために、周辺MMDと差違尺度Δを用いる。

実験結果

リサーチクエスチョン

• RQ1 異なるメトリック空間上に定義された分布間の双方向的かつサイクル整合的写像を明示的に符号化する、原理的差違尺度を定式化できるか？
• RQ2 Gromov-Wasserstein距離をどのように緩和すれば、効率的な計算と新しいデータポイントへの一般化を可能にするか？
• RQ3 限定的なデータセットで学習した後、提案されたGMMDフレームワークがどれほど未知のデータに一般化できるか？
• RQ4 標準的な滑らかさおよび核関数の仮定の下で、経験的GMMD推定の理論的収束速度はどの程度か？
• RQ5 提案されたフレームワークは、実際のサイクルGANの成功とどのように関係しているか？

主な発見

• 提案されたGMMDフレームワークは、4000ポイントの学習データで学習した後、8000ポイントのホールドアウトテストデータに対して、周辺MMDが低い（例：0.002未満）およびΔ値が小さい（例：0.1未満）ことで、未知のデータへの一般化が成功していることが実証された。
• 心臓および埋め込み心臓データセットでは、λ=0.064でGMMD値が0.00711に達し、MMD_XおよびMMD_Yともに0.002未満であった。これは強力な周辺マッチングを示している。
• アモルタイズド実験において、すべてのλ値で差違（Δ）が0.1未満を維持しており、学習済み写像の堅牢性と一貫性が確認された。
• 標準的な仮定の下で、経験的GMMD推定の収束速度が確立され、信頼性の高い統計的推論を支持する。
• UBGM発散が、サイクルGANフレームワークを一般化することを示し、その実験的成功の理論的説明を提供した。
• 実験により、核化されたGMMDバージョンが、強い一般化性能と低い計算コストを備えた、異なる空間間での効率的かつスケーラブルなマッチングを可能にすることが確認された。