[論文レビュー] Context Mover's Distance & Barycenters: Optimal transport of contexts for building representations

Sidak Pal Singh, Andreas Hug+2 more|arXiv (Cornell University)|Aug 29, 2018

Topic Modeling参考文献 85被引用数 8

ひとこと要約

本稿では、文脈的共起の低次元空間上での確率分布としてのエンティティ表現をモデル化し、最適輸送を用いて意味的類似度を測定する、新たな教師なし表現学習フレームワークであるコンテキスト・ムーバーズ・ディスタンス（CMD）を提案する。この手法は、これらの分布推定値間のワーサーテイン距離を計算し、合成表現のためのワーサーテイン重心を用いることで、語と文の類似度、帰結関係、類似度タスクにおいて最先端の性能を達成する。これは、Sent2vec や GenSen よりも相対的に 4.1% の向上を示している。

ABSTRACT

We present a framework for building unsupervised representations of entities and their compositions, where each entity is viewed as a probability distribution rather than a vector embedding. In particular, this distribution is supported over the contexts which co-occur with the entity and are embedded in a suitable low-dimensional space. This enables us to consider representation learning from the perspective of Optimal Transport and take advantage of its tools such as Wasserstein distance and barycenters. We elaborate how the method can be applied for obtaining unsupervised representations of text and illustrate the performance (quantitatively as well as qualitatively) on tasks such as measuring sentence similarity, word entailment and similarity, where we empirically observe significant gains (e.g., 4.1% relative improvement over Sent2vec, GenSen). The key benefits of the proposed approach include: (a) capturing uncertainty and polysemy via modeling the entities as distributions, (b) utilizing the underlying geometry of the particular task (with the ground cost), (c) simultaneously providing interpretability with the notion of optimal transport between contexts and (d) easy applicability on top of existing point embedding methods. The code, as well as prebuilt histograms, are available under https://github.com/context-mover/.

研究の動機と目的

• エンティティを単一のベクトルではなく、その文脈の確率分布としてモデル化する、新たな教師なし表現学習フレームワークの開発。
• 特にワーサーテイン距離と重心を用いた最適輸送理論を活用し、テキストにおける意味的不確実性、多義性、合成的構造を捉える。
• 文脈輸送マップを用いて、幾何学的感覚を持つ解釈可能な距離測度をエンティティ間で提供する。
• 再訓練を必要とせず、既存のポイント埋め込み（例：GloVe, Word2vec）に直接適用可能であり、下流の NLP タスクにおける性能向上を実現する。

提案手法

• エンティティごとに、その共起する文脈の確率分布（ヒストグラム）として表現し、文脈を低次元空間に埋め込む。
• エンティティ間のコンテキスト分布の最適輸送コストとして、コンテキスト埋め込みに定義された基準コスト行列を用いたコンテキスト・ムーバーズ・ディスタンス（CMD）を計算する。
• 語の分布から文の表現にまで拡張可能な合成表現を生成するために、ワーサーテイン重心を用いる。
• 追加のトレーニングを必要とせず、事前に計算されたエンティティごとの共起ヒストグラムを用いることで、効率的な推論を実現する。
• タスク固有の基準距離を文脈移動に定義することで、非対称コストをサポートし、カスタマイズ可能な類似度測定を可能にする。
• GloVe や Word2vec などの既存のポイント埋め込みを、輸送のための基準空間として使用することで、スムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 エンティティをその文脈の確率分布としてモデル化することで、NLP タスクにおける教師なし表現学習の性能が向上するか？
• RQ2 文脈分布間の最適輸送と、ポイントワイズなベクトル類似度の比較において、意味的類似度と多義性を捉える能力にどのような差があるか？
• RQ3 ワーサーテイン重心は、語レベルの分布から語句や文の合成的表現を効果的に生成できるか？
• RQ4 CMD は語と文の類似度および帰結関係タスクにおいて、最先端の教師なし手法を上回るか？
• RQ5 文脈分布間の輸送マップは、エンティティ間の意味的関係について、解釈可能なインサイトを提供できるか？

主な発見

• CMD は語と文の類似度ベンチマークにおいて、Sent2vec や GenSen よりも相対的に 4.1% の向上を達成した。
• WBLESS のハイパノニム検出タスクにおいて、完全に教師なしの最先端手法（Poincaré GloVe）を上回り、K=200 の条件下で 75.4% の正確度を達成した。
• HyperLex におけるスピアマン相関は、0.316（Henderson）から 0.338 に向上し、人間がアノテートした帰結スコアとの整合性が向上したことを示した。
• HypeNet-Train データセットにおいても顕著な性能向上が見られ、Henderson 埋め込みを用いた CMD ではハイパノニム検出で 75.2% の正確度を達成した。
• 定性的な分析から、CMD は『バイオリン』と『フルート』のような共ハイポニムペアや、『クリーチャ』と『ゴリラ』のような方向性関係をよりよく扱っており、ベースライン手法と比較して誤検出を低減した。
• CMD の輸送マップは、2つのエンティティがなぜ類似または相違するかを解釈可能な形で明らかにし、距離計算に最も寄与する文脈を特定する手がかりを提供した。