[論文レビュー] Generalizing Point Embeddings using the Wasserstein Space of Elliptical Distributions

Boris Muzellec, Marco Cuturi|arXiv (Cornell University)|May 1, 2018

Anomaly Detection Techniques and Applications被引用数 30

ひとこと要約

本稿では、物体をワサーベイン距離空間内の楕円型確率分布として表現するワサーベイン楕円型埋め込みを提案する。2ワサーベイン距離の閉形式—平均と分散共分散の項に分解可能—を活用することで、数値的に安定かつ直感的な点埋め込みの拡張が可能となり、ハイパノミーのような意味関係を捉える点で、KLダイバージェンスに基づくガウス埋め込みを凌駕する。

ABSTRACT

Embedding complex objects as vectors in low dimensional spaces is a longstanding problem in machine learning. We propose in this work an extension of that approach, which consists in embedding objects as elliptical probability distributions, namely distributions whose densities have elliptical level sets. We endow these measures with the 2-Wasserstein metric, with two important benefits: (i) For such measures, the squared 2-Wasserstein metric has a closed form, equal to a weighted sum of the squared Euclidean distance between means and the squared Bures metric between covariance matrices. The latter is a Riemannian metric between positive semi-definite matrices, which turns out to be Euclidean on a suitable factor representation of such matrices, which is valid on the entire geodesic between these matrices. (ii) The 2-Wasserstein distance boils down to the usual Euclidean metric when comparing Diracs, and therefore provides a natural framework to extend point embeddings. We show that for these reasons Wasserstein elliptical embeddings are more intuitive and yield tools that are better behaved numerically than the alternative choice of Gaussian embeddings with the Kullback-Leibler divergence. In particular, and unlike previous work based on the KL geometry, we learn elliptical distributions that are not necessarily diagonal. We demonstrate the advantages of elliptical embeddings by using them for visualization, to compute embeddings of words, and to reflect entailment or hypernymy.

研究の動機と目的

• 複雑なオブジェクト構造を捉える点埋め込みの限界を是正するため、点埋め込みを確率的分布へ一般化すること。
• 特にカルバック・ライバラー・ダイバージェンスに基づく既存の確率的埋め込みにおける数値的不安定性と幾何的制約を克服すること。
• 2ワサーベイン距離におけるデルタ関数の収束に起因する点埋め込みの自然な拡張を提供するフレームワークを構築すること。
• 非対角共分散行列の学習を可能とし、埋め込みオブジェクトにおける不確実性および相関関係のより豊かな表現を可能とすること。
• 語彙埋め込み、可視化、含意関係の捉え込みといった意味的タスクにおけるこのフレームワークの有効性を示すこと。

提案手法

• 物体を楕円型密度等高線を持つ分布として表現することで、点埋め込みを一般化する—すなわち、楕円型分布。
• これらの分布の空間に2ワサーベイン距離を導入し、二乗距離に対して閉形式の表現が可能であることを活用する。
• 二乗2ワサーベイン距離を、平均間の二乗ユークリッド距離と、共分散行列間の二乗ブルス距離の和に分解する。
• 正定値行列の適切な因子分解の下で、ブルス距離がユークリッド距離に帰着することを活用し、安定かつ効率的な最適化を可能にする。
• 従来の研究で一般的な対角制約を避けて、学習中に完全な非対角共分散行列を学習する。
• ワサーベイン空間の幾何的構造を活用し、語彙埋め込み、可視化、意味的含意モデル化といった下流タスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 2ワサーベイン空間における楕円型分布は、KLダイバージェンスに基づくガウス分布と比較して、点埋め込みのより安定的かつ直感的な一般化を提供できるか？
• RQ2 楕円型分布間の2ワサーベイン距離の閉形式表現は、代替のダイバージェンスと比較して、数値的挙動をどのように改善するか？
• RQ3 非対角共分散行列は、意味的埋め込みタスクにおける表現能力をどの程度向上できるか？
• RQ4 ワサーベイン楕円型埋め込みは、ハイパノミーおよび含意関係といった意味的関係を効果的にモデル化できるか？
• RQ5 可視化の質と下流タスクの性能という観点から、点埋め込みと比較して、これらの埋め込みはどのように差をつけるか？

主な発見

• 楕円型分布間の二乗2ワサーベイン距離は、閉形式の表現を有し、平均のユークリッド距離と共分散行列のブルス距離の和として組み合わされる。
• 共分散行列上のブルス距離は、適切な因子分解の下でユークリッド距離に帰着するため、安定的かつ効率的な最適化が可能になる。
• デルタ関数分布同士を比較する際には、フレームワークが標準的なユークリッド距離に自然に還元され、点埋め込みとの後方互換性が保証される。
• 本手法は完全な非対角共分散行列を学習可能であり、対角ガウス仮定と比較して、不確実性および相関関係のより豊かなモデル化が可能になる。
• 実験的結果から、ワサーベイン楕円型埋め込みは語彙埋め込み、可視化、意味的含意関係の捉え込みにおいて性能向上を示す。
• 特に非対角設定において、KLベースのガウス埋め込みと比較して、優れた数値的安定性と幾何的整合性を示す。