[論文レビュー] Synonyms and Antonyms: Embedded Conflict

Igor Samenko, Alexey Tikhonov+1 more|arXiv (Cornell University)|Apr 27, 2020

Natural Language Processing Techniques参考文献 11被引用数 8

ひとこと要約

この論文は、類義語と対義語の間で類似したコサイン類似度を示すにもかかわらず、現代の単語埋め込みがそれらを区別するための明確な幾何的パターンをエンコードしていることを示している。小さなラベル付きサブセット上で対照的マップを訓練することで、この手法は意味的属性を分離し、下流タスクのパフォーマンスを向上させる改善された埋め込みを生成する。

ABSTRACT

Since modern word embeddings are motivated by a distributional hypothesis and are, therefore, based on local co-occurrences of words, it is only to be expected that synonyms and antonyms can have very similar embeddings. Contrary to this widespread assumption, this paper shows that modern embeddings contain information that distinguishes synonyms and antonyms despite small cosine similarities between corresponding vectors. This information is encoded in the geometry of the embeddings and could be extracted with a manifold learning procedure or {\em contrasting map}. Such a map is trained on a small labeled subset of the data and can produce new empeddings that explicitly highlight specific semantic attributes of the word. The new embeddings produced by the map are shown to improve the performance on downstream tasks.

研究の動機と目的

• 現代の単語埋め込みが、類義語と対義語の間で類似したコサイン類似度を示すにもかかわらず、それらを本質的に区別できるかどうかを調査すること。
• とくに対義語ペアに対して顕著な意味的曖昧性を有する分散表現の課題に対処すること。
• 事前学習済み埋め込みから意味的属性（類義語性、対義語性など）を明示的に分離する手法を開発すること。
• 特定の意味的対比を強調する新しい埋め込みを学習することで、下流NLPタスクのパフォーマンスを向上させること。

提案手法

• 分布的仮説に裏打ちされ、この手法はテキスト内での局所的共起パターンが意味的関係を暗黙的にエンコードすると仮定する。
• 多様体学習を適用して、類義語と対義語を区別する埋め込み空間の背後にある幾何的構造を同定する。
• 意味的対比を強調する変換を学習するために、語群ペアの小さなラベル付きサブセット上で対照的マップを訓練する。
• 対照的マップは、元の埋め込みを、意味的属性（類義語性、対義語性など）が明示的に強調される新しい空間に射影する。
• 変換後の埋め込みは、下流タスクでのパフォーマンス評価のために評価される。
• このアプローチは、対義語と類義語の間で小さなコサイン類似度であっても、それを活用可能な幾何的情報を含むと仮定している。

実験結果

リサーチクエスチョン

• RQ1 類義語と対義語の間で類似したコサイン類似度を示すにもかかわらず、事前学習済み単語埋め込みの幾何的構造はそれらを区別できるか？
• RQ2 意味的属性（類義語性、対義語性など）を明示的に強調する変換を学習することは可能か？
• RQ3 対照的マップは、標準的な埋め込みと比較して、下流NLPタスクのパフォーマンス向上にどの程度効果的か？
• RQ4 2項間類似度を超えて、現代の単語埋め込みの幾何にどのような意味的情報がエンコードされているか？

主な発見

• 小さなコサイン類似度であっても、単語埋め込みの幾何的構造には、類義語と対義語を区別するための判別的情報が含まれている。
• 対照的マップは、埋め込み空間の背後にある幾何的構造を活用することで、意味的属性を効果的に分離する学習に成功した。
• 対照的マップによって生成された変換済み埋め込みは、下流NLPタスクでのパフォーマンス向上を実現した。
• この手法は訓練に必要なラベル付きサブセットが非常に小さく、データ効率的かつ実世界の応用に実用的である。