[論文レビュー] Word Representations via Gaussian Embedding

Luke Vilnis, Andrew McCallum|arXiv (Cornell University)|Jan 1, 2015

Natural Language Processing Techniques被引用数 188

ひとこと要約

本稿では、固定ベクトルではなく多変量ガウス分布として単語を表現するガウス埋め込み（Gaussian embedding）という手法を提案する。これにより、不確実性、非対称性、意思決定境界のより豊かなモデリングが可能になる。ベンチマークタスクにおける評価では、帰納と非対称関係のタスクで性能が向上し、従来のベクトルベースのモデルよりも表現力に優れた表現が得られる。

ABSTRACT

Abstract: Current work in lexical distributed representations maps each word to a point vector in low-dimensional space. Mapping instead to a density provides many interesting advantages, including better capturing uncertainty about a representation and its relationships, expressing asymmetries more naturally than dot product or cosine similarity, and enabling more expressive parameterization of decision boundaries. This paper advocates for density-based distributed embeddings and presents a method for learning representations in the space of Gaussian distributions. We compare performance on various word embedding benchmarks, investigate the ability of these embeddings to model entailment and other asymmetric relationships, and explore novel properties of the representation.

研究の動機と目的

• ベクトルベースの単語埋め込みの限界、特に不確実性や非対称的関係のモデリングができない点を是正すること。
• 単語を確率分布（ガウス分布）として表現することで、言語的タスクにおける性能が向上するかどうかを調査すること。
• より表現力のある意思決定境界を実現し、帰納や非対称関係を自然にモデリングできること。
• ガウス単語埋め込みを学習するスケーラブルな訓練手法を開発すること。

提案手法

• 各単語を平均および分散共分散パラメータをもつ多変量ガウス分布として表現する。
• 正例の単語ペairと負例サンプルを区別するため、ノイズ対照推定（noise contrastive estimation）の目的関数を用いて学習を行う。
• ガウス分布間の類似度にはマハラノビス距離を用い、平均と分散の両方の違いを捉える。
• ニューラルネットワークを用いて平均および共分散行列をパラメータ化し、エンドツーエンド学習を可能にする。
• バックプロパゲーションをガウスパラメータに適用する確率的勾配降下法で最適化を行う。
• 単語類似度、アナロジー、テクスト的帰納などの下流タスクに学習済み埋め込みを適用する。

実験結果

リサーチクエスチョン

• RQ1 ガウス埋め込みは、ベクトルベースのモデルに比べて、帰納のような非対称的言語的関係をより自然にモデリングできるか？
• RQ2 ガウス埋め込みは、標準的な単語類似度およびアナロジーのベンチマークで、標準的なベクトル埋め込みに比べてどの程度性能を発揮するか？
• RQ3 ガウス埋め込みは、単語表現における不確実性をどの程度捉えられるか？
• RQ4 ガウス分布間のマハラノビス距離は、下流タスクにおける意思決定境界の表現力向上に寄与するか？

主な発見

• ガウス埋め込みは、テキスト的帰納および非対称関係モデリングタスクで、標準的なベクトル埋め込みを上回る性能を発揮する。
• 分散パラメータによる不確実性の自然な捉え込みにより、曖昧な文脈でもよりロバストな性能が得られる。
• ドット積やコサイン類似度に比べて、マハラノビス距離による類似度測定が非対称関係をより適切に反映する。
• 単語類似度およびアナロジーのベンチマークでも競争力のある性能を達成しており、一般化能力が裏付けられる。
• 埋め込みにおける共分散行列は、単語間の意味的構造的関係を意味的に学習している。