[논문 리뷰] Semantic projection: recovering human knowledge of multiple, distinct object features from word embeddings

Gabriel Grand, Idan Blank외 2명|arXiv (Cornell University)|2018. 02. 05.

Topic Modeling참고 문헌 79인용 수 26

한 줄 요약

이 논문은 사전에 훈련된 단어 임베딩에서 크기, 지능, 위험성과 같은 다수의 객체 특성에 대한 맥락에 따라 달라지는 인간의 지식을 복원하는 '세미틱 프로젝션'이라는 방법을 소개한다. 반대어 쌍(예: '작다'에서 '크다')으로 정의된 의미 축에 단어 벡터를 투영함으로써, 다양한 특성에 걸쳐 인간의 객체 유사성 판단을 정확히 복원할 수 있다. 이는 단어 임베딩가 간단한 유사성 외에도 풍부하고도 민감한 의미 지식을 포함하고 있음을 보여준다.

ABSTRACT

The words of a language reflect the structure of the human mind, allowing us to transmit thoughts between individuals. However, language can represent only a subset of our rich and detailed cognitive architecture. Here, we ask what kinds of common knowledge (semantic memory) are captured by word meanings (lexical semantics). We examine a prominent computational model that represents words as vectors in a multidimensional space, such that proximity between word-vectors approximates semantic relatedness. Because related words appear in similar contexts, such spaces - called "word embeddings" - can be learned from patterns of lexical co-occurrences in natural language. Despite their popularity, a fundamental concern about word embeddings is that they appear to be semantically "rigid": inter-word proximity captures only overall similarity, yet human judgments about object similarities are highly context-dependent and involve multiple, distinct semantic features. For example, dolphins and alligators appear similar in size, but differ in intelligence and aggressiveness. Could such context-dependent relationships be recovered from word embeddings? To address this issue, we introduce a powerful, domain-general solution: "semantic projection" of word-vectors onto lines that represent various object features, like size (the line extending from the word "small" to "big"), intelligence (from "dumb" to "smart"), or danger (from "safe" to "dangerous"). This method, which is intuitively analogous to placing objects "on a mental scale" between two extremes, recovers human judgments across a range of object categories and properties. We thus show that word embeddings inherit a wealth of common knowledge from word co-occurrence statistics and can be flexibly manipulated to express context-dependent meanings.

연구 동기 및 목표

• 단어 임베딩가 객체에 대한 맥락에 따라 달라지는 다차원적 의미 지식을 포괄하는지 조사하는 것.
• 단어 임베딩가 전반적인 유사성 외에 크기나 지능과 같은 별개의 특성은 포착하지 못한다는 한계를 해결하는 것.
• 단어 벡터에서 다수의 별개의 의미 특성을 민감하게 추출할 수 있는 일반적인 방법을 개발하는 것.
• 이 방법이 다양한 의미 특성에 걸쳐 인간의 객체 유사성 판단을 얼마나 잘 복원하는지 검증하는 것.

제안 방법

• 크기(예: '작다'에서 '크다'), 지능(예: '어리다'에서 '현명하다') 등 별개의 객체 특성을 나타내는 반대어 쌍을 사용해 의미 축을 정의한다.
• 각 축의 정규화된 방향 벡터에 대한 스칼라 투영(내적)을 계산하여 단어 벡터를 이 축에 투영한다.
• 결과로 얻은 투영 점수를 한 극점에서 다른 극점으로의 정신적 척도 상의 위치로 정규화한다(예: '안전'에서 '위험'으로).
• 이러한 투영된 값을 사용해 객체 간의 특성별 유사성 판단을 계산함으로써 맥락에 따라 달라지는 비교를 가능하게 한다.
• 다양한 객체 카테고리(예: 동물, 도구, 차량)와 의미 특성(예: 크기, 지능, 위험성)에 걸쳐 이 방법을 적용한다.
• 다양한 특성에 걸쳐 인간이 애너테이션한 유사성 판단과 비교함으로써 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 단어 임베딩가 간단한 의미 유사성 외에도 맥락에 따라 달라지는 다차원적 의미 지식을 포괄할 수 있는가?
• RQ2 크기, 지능, 위험성과 같은 의미 특성들이 도메인 일반적인 방법을 사용해 단어 임베딩에서 얼마나 잘 복원될 수 있는가?
• RQ3 단어 임베딩에서 투영된 의미 값이 다양한 특성에 걸쳐 인간의 객체 유사성 판단과 얼마나 잘 일치하는가?
• RQ4 이 방법은 다양한 객체 카테고리와 의미 특성에 걸쳐 견고한가?

주요 결과

• 세미틱 프로젝션은 크기, 지능, 위험성과 같은 다수의 별개의 의미 특성에 걸쳐 인간의 객체 유사성 판단을 성공적으로 복원한다.
• 다양한 객체 카테고리에서 투영된 유사성 점수와 인간 애너테이션된 유사성 평가 간 상관계수가 높게 유지된다(r > 0.7).
• 반대어 쌍으로부터 유도된 의미 축에 대한 투영이 특정 특성에 대해 인간과 유사한 정신적 척도를 효과적으로 표현한다.
• 이 방법은 공출현 통계를 통해 유추된 풍부한 일반 지식을 단어 임베딩가 유추함으로써 민감하고 맥락에 따라 달라지는 의미 해석이 가능하다는 것을 보여준다.
• 이 방법은 다양한 의미 특성과 객체 카테고리에 걸쳐 일반화되며, 견고성과 광범위한 적용 가능성을 보인다.
• 결과는 단어 임베딩가 의미적으로 '경직'되어 있음을 시사하지 않으며, 적절히 투영될 경우 세밀하고 다차원적인 지식을 표현할 수 있음을 확인한다.