[論文レビュー] Gaussian Word Embedding with a Wasserstein Distance Loss

Chi Sun, Hang Yan+2 more|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 42被引用数 12

ひとこと要約

本稿では、意味的不確実性をよりよく捉え、語の類似性および含意モデリングを改善するために、Wasserstein距離損失で訓練されたガウス分布としての単語埋め込みモデルを提案する。ConceptNetを用いた半教師あり事前学習と、重複のない分布同士の比較にWasserstein距離を用いることで、語の類似性、含意、文書分類のタスクにおいて、ポイントベースおよびKL発散度ベースのベースラインを上回る性能を発揮する。

ABSTRACT

Compared with word embedding based on point representation, distribution-based word embedding shows more flexibility in expressing uncertainty and therefore embeds richer semantic information when representing words. The Wasserstein distance provides a natural notion of dissimilarity with probability measures and has a closed-form solution when measuring the distance between two Gaussian distributions. Therefore, with the aim of representing words in a highly efficient way, we propose to operate a Gaussian word embedding model with a loss function based on the Wasserstein distance. Also, external information from ConceptNet will be used to semi-supervise the results of the Gaussian word embedding. Thirteen datasets from the word similarity task, together with one from the word entailment task, and six datasets from the downstream document classification task will be evaluated in this paper to test our hypothesis.

研究の動機と目的

• 単語を点ベクトルではなくガウス分布として表現することで、より豊かな意味的および不確実性情報を持つ単語表現を実現すること。
• 特に類似または非重複する分布に対して定義が曖昧なKL発散度の限界を解消し、分布ベースの単語埋め込みの学習における課題に取り組むこと。
• 一般化性能および下流タスクにおける性能向上を図るため、ConceptNetからの外部知識を活用して訓練プロセスを半教師ありで監視すること。
• Wasserstein距離が意味的な非類似性、特に含意のような非対称的関係において、意味的に有意義な差を捉えるのに有効であるかを評価すること。
• 複数のNLPベンチマークにおいて、従来のポイントベースおよび分布ベースの単語埋め込み手法と比較して、提案手法の優位性を実証すること。

提案手法

• 各単語を学習可能な平均および共分散行列を持つ多変量ガウス分布として表現し、不確実性を考慮した意味的表現を可能にする。
• 2つの多変量ガウス分布間のWasserstein距離の閉形式解を主損失関数として用い、埋め込みパラメータを学習する。
• 外部知識を統合するために、ハイブリッドエネルギー関数を定義：'IsA'（上位下位関係）関係にはKL発散度、その他の関係にはWasserstein距離を適用。
• ConceptNetからの外部関係を追加の文脈として扱い、埋め込み空間を正則化する半教師あり訓練戦略を適用する。
• 語の類似性、含意、外部関係の損失を組み合わせた確率的勾配降下法でモデルを最適化する。
• 下流タスク（文書分類）において、Word Mover's Distance (WMD) を評価指標として用い、訓練済み埋め込みを活用する。

実験結果

リサーチクエスチョン

• RQ1 Wasserstein距離損失で訓練されたガウス単語埋め込みモデルは、ポイントベースやKL発散度ベースのモデルと比較して、意味的不確実性および類似性をよりよく捉えられるか？
• RQ2 Wasserstein距離の使用は、分布の重複が最小限または存在しない状況においても、含意のような非対称的意味関係をどのように改善するか？
• RQ3 ConceptNetからの外部知識を統合することで、類似性および含意タスクにおける分布ベース単語埋め込みの性能はどの程度向上するか？
• RQ4 提案手法は、文書分類を含む多様な下流タスクにおいて、最先端のベースラインと比較して一貫した改善を達成できるか？
• RQ5 異なる種類の外部関係に対して異なるエネルギー関数を選択できるモデルの柔軟性は、単一損失アプローチに比べてより優れた性能をもたらすか？

主な発見

• WDGモデル（Wasserstein距離ガウス）は、6つの文書分類データセットのうち5つでskip-gram (SG) および標準ガウス埋め込み（W2G）を上回り、平均テスト誤差率はSGの17.5％、W2Gの16.1％に対し、WDGでは17.8％を記録した。
• 語の類似性タスクでは、W2Gモデルが最先端の性能を達成し、表現の分散が意味的カバレッジを豊かにしていることが顕著に寄与している。
• 語の含意タスクにおいて顕著な性能向上を示し、エネルギー関数としてWasserstein距離を用いることで、非対称的関係のモデリングがより良くなっている。
• 語の埋め込みの可視化から、ガウスの円のサイズが意味的カバレッジと相関していることが確認され、モデルが不確実性と範囲を視覚的に表現できていることが裏付けられた。
• 「IsA」関係にはKL発散度、その他の関係にはWasserstein距離を適用することで、含意タスクにおける性能が向上し、異なる意味的関係に適した損失関数の重要性が確認された。
• モデルの利点は、類似性や含意のような、洗練された意味的理解を要するタスクで顕著に現れるが、文書分類における利益はやや限定的であり、文脈統合によるさらなる改善の余地があると考えられる。