[論文レビュー] Wasserstein Dependency Measure for Representation Learning

Sherjil Ozair, Corey Lynch+4 more|arXiv (Cornell University)|Mar 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 20

ひとこと要約

本論文は、相互情報推定におけるKLダイバージェンスの代わりにワサーストイン距離を用いることで、トレーニングを安定化させるリーマン・連続ニューラルネットワークを用いた、新たな表現学習目的であるワサーストイン依存度測度（WDM）を導入する。提案手法であるワサーストイン予測符号化（WPC）は、特にデータ構造がニューラルネットワークのインダクティブバイアスと一致しない状況下で、相互情報が高いタスクにおいて、対照的予測符号化（CPC）よりも顕著に優れた表現品質を達成する。

ABSTRACT

Mutual information maximization has emerged as a powerful learning objective for unsupervised representation learning obtaining state-of-the-art performance in applications such as object recognition, speech recognition, and reinforcement learning. However, such approaches are fundamentally limited since a tight lower bound of mutual information requires sample size exponential in the mutual information. This limits the applicability of these approaches for prediction tasks with high mutual information, such as in video understanding or reinforcement learning. In these settings, such techniques are prone to overfit, both in theory and in practice, and capture only a few of the relevant factors of variation. This leads to incomplete representations that are not optimal for downstream tasks. In this work, we empirically demonstrate that mutual information-based representation learning approaches do fail to learn complete representations on a number of designed and real-world tasks. To mitigate these problems we introduce the Wasserstein dependency measure, which learns more complete representations by using the Wasserstein distance instead of the KL divergence in the mutual information estimator. We show that a practical approximation to this theoretically motivated solution, constructed using Lipschitz constraint techniques from the GAN literature, achieves substantially improved results on tasks where incomplete representations are a major challenge.

研究の動機と目的

• 相互情報最大化における自己教師あり表現学習の根本的限界に対処する。特に、タイトな下界を得るには、相互情報に比例して指数関数的に増加するサンプルサイズが必要となる。
• 動画理解や強化学習などの高相互情報タスクにおいて、相互情報に基づく手法が完全な表現を学習できないことを特定する。
• KLに基づく相互情報推定器の理論的・実用的欠陥を克服するため、ワサーストイン距離に基づく新たな学習目的を提案する。
• WPC（ワサーストイン依存度測度の実装）が、特に困難なデータ分布下でもCPCよりもより完全で頑健な表現を学習することを実証的に示す。
• WPCがミニバッチサイズに対して感受性が低く、畳み込みネットワークのインダクティブバイアスと一致しないデータ構造においても一般化性能に優れることを示す。

提案手法

• 相互情報推定におけるKLダイバージェンスをワサーストイン距離に置き換えることで、新たな依存度測度、すなわちワサーストイン依存度測度（WDM）を定義する。
• 生成対抗ネットワーク（GAN）の文献からインspiredした技術を用い、相互情報推定器に使用するニューラルネットワークにリーマン連続性を強制することで、実用的な推定器を構築する。
• 対照的予測符号化（CPC）スタイルのフレームワークを用いるが、相互情報目的の代わりにWDM目的を採用して表現モデルを学習する。
• 重みクリッピングまたは勾配ペナルティを用いてリーマン制約を強制し、トレーニング中に安定かつ意味のある勾配更新を保証する。
• 文脈表現と将来の表現間のWDMを最大化するように表現モデルを学習させ、より多くの変動要因を捉えるようモデルを促進する。
• 合成データおよび実世界のデータセット（MultiOmniglot、CelebA、MultiviewShapes3Dを含む）を用い、高相互情報を持つデータで本手法を評価し、CPCと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ相互情報に基づく表現学習手法は、動画や強化学習のような高相互情報設定で完全な表現を学習できないのか？
• RQ2 相互情報推定におけるKLダイバージェンスをワサーストイン距離に置き換えることで、より頑健で完全な表現が得られるのか？
• RQ3 提案手法であるワサーストイン予測符号化（WPC）の性能は、異なるデータ分布およびネットワークアーキテクチャにおいて、対照的予測符号化（CPC）と比べてどの程度優れているのか？
• RQ4 リーマン制約は、低データまたは高相互情報の状況下で、表現学習の安定性と一般化性能をどの程度向上させるのか？
• RQ5 WPCは、畳み込みネットワークのインダクティブバイアスと一致しないデータ構造や変動するミニバッチサイズに対しても、優れた性能を維持するのか？

主な発見

• 相互情報が非常に高い（約34.43 nats）SplitCelebAデータセットにおいて、WPCは全結合ネットワークを用いて0.87の精度を達成し、CPCの0.85を上回った。
• 同じデータセットにおいて、WPCは全結合ネットワークと畳み込みネットワークの両方で一貫した性能を示したが、CPCは畳み込みネットワークを用いると性能が著しく低下した。
• CNNのインダクティブバイアスと一致しないデータ構造を持つStackedMultiOmniglotでは、CPCに対するWPCの性能優位性が、SpatialMultiOmniglotよりも顕著に現れ、アーキテクチャの不一致に対する頑健性を示した。
• WPCはミニバッチサイズ32で最適な性能を示し、より大きなバッチサイズではほとんど改善が見られなかった。これに対してCPCは、安定化させるためにより大きなバッチサイズを必要としていた。
• MultiviewShapes3Dでは、全テストデータセットおよびミニバッチサイズでWPCがCPCを一貫して上回り、多様なデータ分布にわたる一般化性能を示した。
• これらの結果は、WPCがワサーストイン距離を用いることで、相互情報推定における根本的限界（指数的サンプル複雑性）を緩和し、高情報設定下でより完全な表現を学習できることを確認した。