[論文レビュー] Learning Generative Models across Incomparable Spaces

Charlotte Bunne, David Alvarez-Melis+2 more|arXiv (Cornell University)|May 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 54被引用数 25

ひとこと要約

本稿では、Gromov-Wasserstein (GW) 距離を用いて絶対的位置ではなく関係構造を比較することで、異なる次元やデータタイプといった比較不可能な空間間の分布を学習する生成的対抗ネットワーク、GwGAN を提案する。この手法により、トポロジーとスタイルの分離学習が可能となり、多様体学習、クロスドメイン生成、スタイル転送への応用が可能になる。また、標準的な GAN は特別な場合として包含される。

ABSTRACT

Generative Adversarial Networks have shown remarkable success in learning a distribution that faithfully recovers a reference distribution in its entirety. However, in some cases, we may want to only learn some aspects (e.g., cluster or manifold structure), while modifying others (e.g., style, orientation or dimension). In this work, we propose an approach to learn generative models across such incomparable spaces, and demonstrate how to steer the learned distribution towards target properties. A key component of our model is the Gromov-Wasserstein distance, a notion of discrepancy that compares distributions relationally rather than absolutely. While this framework subsumes current generative models in identically reproducing distributions, its inherent flexibility allows application to tasks in manifold learning, relational learning and cross-domain learning.

研究の動機と目的

• 既存の GAN が分布学習に同一または比較可能なデータ空間を必要とするという制限を解消すること。
• 異なる次元性やデータタイプ（例：グラフからユークリッド空間）といった比較不可能な空間間での生成的モデリングを可能にすること。
• スタイルや次元性といった外見的特徴の変更を許容しつつ、基準分布のトポロジーや関係的構造を保持すること。
• GW 距離を損失関数として用いる、微分可能で安定した訓練フレームワークを構築すること。
• 特にスタイル転送を念頭に、正則化や敵対的アプローチによる生成サンプルの制御的操作を可能にすること。

提案手法

• 基準分布と生成分布の間の乖離尺度として Gromov-Wasserstein 距離を用いる GAN フレームワーク、GwGAN を提案する。
• GW 距離の近似を能動的に行う学習可能な敵対的ネットワークを導入し、生成器を介してバックプロパゲーションを可能にする。
• 敵対的ネットワークの制約を強化し、訓練を安定化させるために、直交的プロクラステスに基づく正則化を導入する。これにより意味のある関係的比較が保証される。
• 異なる距離空間間の分布比較の基盤として、空間内での対比較距離（例：ユークリッド距離や最短経路）を用いる。
• 専用の正則化または敵対的訓練により、トポロジカル構造と外見的属性（スタイルや方向）の分離を実現する。
• 生成器とデータ空間が同一かつ同型である場合、標準的な GAN に帰着する。

実験結果

リサーチクエスチョン

• RQ1 比較不可能な空間（例：異なる次元性やデータタイプ）間で、整列済みまたは比較可能なサポートを必要とせずに、生成的モデルが分布を学習できるか？
• RQ2 Gan フレームワークにおいて、GW 距離をエンドツーエンド微分可能かつ安定的に訓練の目的関数として効果的に用いる方法は何か？
• RQ3 基準分布のトポロジカル構造を保持しつつ、太さや方向といったスタイル的属性を独立に制御できるか？
• RQ4 生成器の柔軟性をどのように制限すれば、退化した解を避けつつ表現力を維持できるか？
• RQ5 このようなモデルは、多様体学習、関係的学習、クロスドメイン生成の分野で実用的応用が可能か？

主な発見

• GwGAN モデルは、重み付きグラフから 28×28 の画像空間への変換など、比較不可能な空間間で効果的に分布を学習・生成でき、元のクラスタ構造を保持している。
• スタイルの敵対的ネットワークや正則化を導入することで、MNIST ディジットの太さを制御的に変更するスタイル転送が可能である。
• 提示された直交的プロクラステス正則化は訓練を安定化させ、性能向上をもたらし、本モデルの範囲を超えた広範な応用可能性を示している。
• Gromov-Wasserstein 距離は、クロスドメイン距離が入手不可であっても有効な訓練を可能にし、異種データモダリティに適している。
• フレームワークは標準的な GAN を包含しており、生成器とデータ空間が同一かつ同型である場合、GwGAN は標準的な GAN に還元される。
• 実験により、確率的構造を保持する分布を伴う次元削減が可能であり、古典的手法に比べて確率的構造の保持において優れた性能を示している。