[論文レビュー] Normalized Wasserstein Distance for Mixture Distributions with Applications in Adversarial Learning and Domain Adaptation

Yogesh Balaji, Rama Chellappa+1 more|arXiv (Cornell University)|Feb 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 7

ひとこと要約

本稿では、混合割合の不均衡という問題を解消するため、距離計算の一部として混合重みを最適化する、新しい最適輸送測度である正規化ウォッサーシュタイン（NW）距離を提案する。共有成分を持つ可学習な割合を有する中間分布を導入することで、GAN、ドメイン適応、敵対的クラスタリングにおいて顕著な性能向上を達成する。不均衡なMNISTデータセットにおいて、ターゲットドメインの損失が42%削減され、クラスタ純度が98%に達する。

ABSTRACT

Understanding proper distance measures between distributions is at the core of several learning tasks such as generative models, domain adaptation, clustering, etc. In this work, we focus on mixture distributions that arise naturally in several application domains where the data contains different sub-populations. For mixture distributions, established distance measures such as the Wasserstein distance do not take into account imbalanced mixture proportions. Thus, even if two mixture distributions have identical mixture components but different mixture proportions, the Wasserstein distance between them will be large. This often leads to undesired results in distance-based learning methods for mixture distributions. In this paper, we resolve this issue by introducing the Normalized Wasserstein measure. The key idea is to introduce mixture proportions as optimization variables, effectively normalizing mixture proportions in the Wasserstein formulation. Using the proposed normalized Wasserstein measure leads to significant performance gains for mixture distributions with imbalanced mixture proportions compared to the vanilla Wasserstein distance. We demonstrate the effectiveness of the proposed measure in GANs, domain adaptation and adversarial clustering in several benchmark datasets.

研究の動機と目的

• 混合成分の割合が不均衡な混合分布間の距離を測る際、標準ウォッサーシュタイン距離が有する制限を解消すること。
• 同一の成分が異なる割合を持つ場合に、厳密な周辺制約のためウォッサーシュタイン距離が大きくならざるを得ない問題を克服すること。
• 混合割合を正規化することで、多モードデータにおける構造的類似性をより適切に反映する距離測度を開発すること。
• モードの不均衡下でも、生成モデル、ドメイン適応、クラスタリングの各タスクにおいて、提案された測度の有効性を実証すること。
• トレーニング中に生成器の混合重みを最適化することで、分離可能な表現学習と性能向上を実現すること。

提案手法

• 入力分布から、共有された生成器を持つが最適化された混合重みを有する2つの中間混合分布へのウォッサーシュタイン距離の和として、正規化ウォッサーシュタイン（NW）測度を定義する。
• 生成器と混合割合の最小化としてNW測度を定式化する：$ W_N(P_X, P_Y) = \min_{\mathbf{G}, \pi^{(1)}, \pi^{(2)}} W(P_X, P_{\mathbf{G}, \pi^{(1)}}) + W(P_Y, P_{\mathbf{G}, \pi^{(2)}}) $。
• 生成器出力のモード多様性を促進するために、正則化項 $ R = \sum_{i>j} \pi_i \pi_j W(\mathbf{G}_i(Z), \mathbf{G}_j(Z)) $ を導入する。
• 混合重み $ \pi $ を生成器とともにエンドツーエンドで最適化するNW-GANモデルを訓練し、分離可能な生成を可能にする。
• バランスの取れた割合を持つ中間分布を構築することで、ドメイン適応を支援し、誤った対応を低減する。
• 敵対的クラスタリングにNW測度を適用し、データポイントを最も近いモードに割り当てる。モード多様性は正則化項によって強制される。

実験結果

リサーチクエスチョン

• RQ1 同一の成分を持つが混合割合が異なる混合分布間の距離を測る際、標準ウォッサーシュタイン距離がなぜ失敗するのか？
• RQ2 距離計算中に混合割合を最適化することで、不均衡な多モード分布に対してより意味のある類似性測度を得られるか？
• RQ3 提案された正規化ウォッサーシュタイン測度は、モードの不均衡下でGANトレーニング、ドメイン適応、クラスタリングの各タスクにおいてどの程度性能を向上させるか？
• RQ4 事前知識が欠如する状況下で、NW測度を用いてモード数 $ k $ を信頼性高く推定する方法は何か？
• RQ5 NW測度は明示的な教師信号なしに、生成モデルにおける分離可能な表現学習を可能にするか？

主な発見

• ドメイン適応において、ベースラインのウォッサーシュタインGANと比較して、提案された正規化ウォッサーシュタイン測度はターゲットドメイン損失を42%削減した。
• 数字2, 4, 6が不均衡に配置された不均衡なMNISTデータセットにおいて、NWベースのクラスタリング手法はクラスタ純度98%を達成し、k-means（82%）やGMM（75%）を上回った。
• NW-GANモデルは分離可能な表現を効果的に学習した：混合重み $ \pi $ を最適化した場合、生成器は明確に分離されたモード（例：CIFAR-10 や CelebA）を生成したが、固定された $ \pi $ の場合、モードの混合が生じた。
• モード数 $ k $ を選択するアルゴリズムは実験的に妥当性が確認された：$ k^* = 9 $ が、NW測度が飽和し、$ k-1 $ から $ k $ への低下が最大となる最小の $ k $ として特定された。
• 正則化項 $ R $ は生成モード間の多様性を効果的に促進し、敵対的クラスタリングにおける崩壊を防ぎ、安定したトレーニングを可能にした。
• すべての評価タスク（GAN、ドメイン適応、クラスタリング）において、NW測度は最先端の性能を達成した。特にモードの不均衡下でも、強靭性と一般化性能を示した。