[論文レビュー] Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings

Gabriel Grand, Idan Blank+2 more|arXiv (Cornell University)|Feb 5, 2018

Topic Modeling参考文献 79被引用数 26

ひとこと要約

本稿では、事前学習された単語埋め込みから、サイズ、知能、危険性といった複数の物体特徴の文脈依存的な人間の知識を回復するための「意味的投影」を導入する。反意語ペア（例：'small' から 'big'）によって定義された意味的軸に単語ベクトルを投影することで、さまざまな特徴における人間の物体類似性判断を正確に回復する。これは、単語埋め込みが単なる類似性を超えて、豊富で柔軟な意味的知識をエンコードしていることを示している。

ABSTRACT

The words of a language reflect the structure of the human mind, allowing us to transmit thoughts between individuals. However, language can represent only a subset of our rich and detailed cognitive architecture. Here, we ask what kinds of common knowledge (semantic memory) are captured by word meanings (lexical semantics). We examine a prominent computational model that represents words as vectors in a multidimensional space, such that proximity between word-vectors approximates semantic relatedness. Because related words appear in similar contexts, such spaces - called "word embeddings" - can be learned from patterns of lexical co-occurrences in natural language. Despite their popularity, a fundamental concern about word embeddings is that they appear to be semantically "rigid": inter-word proximity captures only overall similarity, yet human judgments about object similarities are highly context-dependent and involve multiple, distinct semantic features. For example, dolphins and alligators appear similar in size, but differ in intelligence and aggressiveness. Could such context-dependent relationships be recovered from word embeddings? To address this issue, we introduce a powerful, domain-general solution: "semantic projection" of word-vectors onto lines that represent various object features, like size (the line extending from the word "small" to "big"), intelligence (from "dumb" to "smart"), or danger (from "safe" to "dangerous"). This method, which is intuitively analogous to placing objects "on a mental scale" between two extremes, recovers human judgments across a range of object categories and properties. We thus show that word embeddings inherit a wealth of common knowledge from word co-occurrence statistics and can be flexibly manipulated to express context-dependent meanings.

研究の動機と目的

• 単語埋め込みが物体に関する文脈依存的で多次元的な意味的知識を捉えているかどうかを調査すること。
• 単語埋め込みが全体的な類似性しか捉えていないため「硬直的」に見えるという限界を是正すること。
• 単語ベクトルから複数の明確に区別できる意味的特徴を柔軟に抽出できる汎用的手法を開発すること。
• この手法が、さまざまな意味的特徴における人間の物体類似性判断を回復できるかどうかを検証すること。

提案手法

• 反意語ペア（例：サイズの場合は 'small' から 'big'、知能の場合は 'dumb' から 'smart'）を用いて、物体の特徴を表す意味的軸を定義する。
• 各軸の正規化された方向ベクトルに対する単語ベクトルのスカラープロジェクション（内積）を計算することで、単語ベクトルをこれらの軸に投影する。
• 得られた投影スコアを正規化し、一方の極端からもう一方の極端への心理的スケール上の位置（例：'safe' から 'dangerous'）を表す。
• これらの投影値を用いて、物体間の特徴固有の類似性判断を計算し、文脈依存的な比較を可能にする。
• 複数の物体カテゴリ（例：動物、道具、車両）と意味的特徴（例：サイズ、知能、危険性）にわたってこの手法を適用する。
• 多様な特徴における人間がアノテートした類似性判断と比較することで、この手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みは、単なる意味的類似性を超えて、文脈依存的で多次元的な物体に関する意味的知識をエンコードできるか？
• RQ2 サイズ、知能、危険性といった意味的特徴を、ドメインに依存しない手法で単語埋め込みからどれだけ回復できるか？
• RQ3 単語埋め込みからの投影された意味的値が、さまざまな特徴における人間の物体類似性判断とどの程度一致するか？
• RQ4 この手法は多様な物体カテゴリと意味的特徴にわたって頑健であるか？

主な発見

• 意味的投影は、サイズ、知能、危険性といった明確に区別される複数の意味的特徴において、人間の物体類似性判断を効果的に回復した。
• さまざまな物体カテゴリにおいて、投影された類似性スコアと人間がアノテートした類似性評価との間に高い相関（r > 0.7）を達成した。
• 反意語ペアから導出された意味的軸への投影は、特定の特徴に沿った人間らしい心理的スケーリングを効果的に表現した。
• このアプローチは、共起統計から得られる共通知識が単語埋め込みに組み込まれており、柔軟で文脈に敏感な解釈が可能であることを示している。
• この手法は多様な意味的特徴と物体カテゴリに一般化でき、頑健で広範な適用可能性を示した。
• 結果から、単語埋め込みは意味的に「硬直的」ではなく、適切に投影すれば洗練された多次元的知識を表現できることが確認された。