[論文レビュー] Learning Embeddings into Entropic Wasserstein Spaces

Charlie Frogner, Farzaneh Mirzazadeh+1 more|arXiv (Cornell University)|May 8, 2019

Generative Adversarial Networks and Image Synthesis被引用数 9

ひとこと要約

本稿では、効率的な最適化を可能にするSinkhorn発散を用いて、エントロピック Wasserstein 空間内での離散確率分布としてのデータ埋め込みの学習を提案する。Wasserstein 距離の柔軟性を活用することで、複雑な構造に対する埋め込みの忠実度が向上し、次元削減を伴わずに高次元埋め込みの直接可視化が可能になる。これは、ユークリッド的および双曲的ベースラインと比較して、表現能力と解釈可能性の両面で優れている。

ABSTRACT

Euclidean embeddings of data are fundamentally limited in their ability to capture latent semantic structures, which need not conform to Euclidean spatial assumptions. Here we consider an alternative, which embeds data as discrete probability distributions in a Wasserstein space, endowed with an optimal transport metric. Wasserstein spaces are much larger and more flexible than Euclidean spaces, in that they can successfully embed a wider variety of metric structures. We exploit this flexibility by learning an embedding that captures semantic information in the Wasserstein distance between embedded distributions. We examine empirically the representational capacity of our learned Wasserstein embeddings, showing that they can embed a wide variety of metric structures with smaller distortion than an equivalent Euclidean embedding. We also investigate an application to word embedding, demonstrating a unique advantage of Wasserstein embeddings: We can visualize the high-dimensional embedding directly, since it is a probability distribution on a low-dimensional space. This obviates the need for dimensionality reduction techniques like t-SNE for visualization.

研究の動機と目的

• データの複雑で非ユークリッド的な意味的構造を捉えるために、ユークリッド埋め込みの限界を克服すること。
• Wasserstein 空間の表現能力を調査し、多様な距離構造を保持する埋め込みを学習すること。
• 埋め込みを低次元の基底空間内の点群として直接可視化することで、高次元埋め込みの可視化を可能にすること。
• Sinkhorn正則化 Wasserstein 距離が、単語埋め込みなどの下流タスクにおける勾配ベースの学習に有効に機能することを示すこと。
• 多次元分布の可視化による埋め込みのデバッグツールを提供すること。

提案手法

• 入力データを、固定された数の点に支持される離散確率分布として埋め込む。
• 最適輸送問題のエントロピック正則化を用いて Sinkhorn 発散を計算し、自動微分による効率的な勾配計算を可能にする。
• 埋め込み分布とターゲットの距離構造との間の Sinkhorn 発散を最小化することで、エンドツーエンドでモデルを訓練する。
• 分布のサポート点を固定し、質量点の重みと位置を最適化することで埋め込みを学習する。
• 次元削減技術（例：t-SNE など）を用いずに、基底空間内での点群として学習済み埋め込みを直接可視化する。
• フレームワークを単語埋め込みに適用し、密度可視化およびクラスタリング解析を通じて、検索性能と解釈可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 エントロピック正則化を施した Wasserstein 埋め込みは、ユークリッド的・双曲的埋め込みと比較して、より忠実に複雑な距離構造を捉えることができるか？
• RQ2 点群表現による Wasserstein 埋め込みの直接可視化は、次元削減された可視化と比較して、より優れた解釈可能性とデバッグ可能性を提供するか？
• RQ3 Wasserstein 空間における学習済み単語埋め込みの多次元性は、多義性と意味的関係をどのように反映しているか？
• RQ4 Sinkhorn 発散が、Wasserstein 空間内でのエンドツーエンド埋め込み学習の有効で実用的な目的関数として機能する程度はどの程度か？
• RQ5 埋め込み空間を用いて、政治的・軍事的・スポーツ的用語などのような異なる意味的クラスの分離と重複を可視化・分析できるか？

主な発見

• Wasserstein 埋め込みは、距離保存の歪度が低いという指標で測定したところ、ユークリッド的および双曲的埋め込みと比較して、複雑なネットワーク構造の表現においてより高い忠実度を達成している。
• Sinkhorn 発散を用いた学習により得られた単語埋め込みは、word2vec や GloVe などの最先端手法と同等の検索性能を達成している。
• 基底空間内での点群としての埋め込みの直接可視化により、明確なクラスタリングと多次元構造が明らかになり、t-SNE や類似手法を用いずに直感的な解釈が可能になった。
• 単語埋め込みの多次元性により、1つの単語が同時に複数の意味的グループと部分的に重複することができ、多義性を効果的に捉えている。
• 埋め込みのカーネル密度推定により、政治的用語やスポーツ用語のような異なる意味的クラスに対して明確に分離されたモードが観察された。
• 可視化により、モデルの誤り（例：フランスの都市として「nice」を誤って分類）が露呈し、直接的な検査によるデバッグの有効性が示された。