[논문 리뷰] Semantic properties of English nominal pluralization: Insights from word embeddings

Elnaz Shafaei-Bajestan, Masoumeh Moradipour-Tari외 2명|arXiv (Cornell University)|2022. 03. 29.

Natural Language Processing Techniques인용 수 11

한 줄 요약

이 논문은 분포의어미학과 단어 임베딩을 사용하여 영어 명사 복수화의 의미 군집을 조사하며, 고정된 벡터 덧셈이 아니라 맥락에 민감한 의미 이동으로서의 복수화를 모델링하는 새로운 방법인 CosClassAvg를 제안한다. 복수형이 의미적으로 군집됨을 보여주며(예: 과일 단어들이 별개의 군집을 이룸), CosClassAvg는 FRACSS와 같은 기존 방법보다 의미 공간 예측에서 뛰어나며, 새로운 복수형에 대한 청취자 모델 성능을 향상시킨다.

ABSTRACT

Semantic differentiation of nominal pluralization is grammaticalized in many languages. For example, plural markers may only be relevant for human nouns. English does not appear to make such distinctions. Using distributional semantics, we show that English nominal pluralization exhibits semantic clusters. For instance, pluralization of fruit words is more similar to one another and less similar to pluralization of other semantic classes. Therefore, reduction of the meaning shift in plural formation to the addition of an abstract plural meaning is too simplistic. A semantically informed method, called CosClassAvg, is introduced that outperforms pluralization methods in distributional semantics which assume plural formation amounts to the addition of a fixed plural vector. In comparison with our approach, a method from compositional distributional semantics, called FRACSS, predicted plural vectors that were more similar to the corpus-extracted plural vectors in terms of direction but not vector length. A modeling study reveals that the observed difference between the two predicted semantic spaces by CosClassAvg and FRACSS carries over to how well a computational model of the listener can understand previously unencountered plural forms. Mappings from word forms, represented with triphone vectors, to predicted semantic vectors are more productive when CosClassAvg-generated semantic vectors are employed as gold standard vectors instead of FRACSS-generated vectors.

연구 동기 및 목표

• 영어 명사 복수화가 '복수'라는 통일된 의미를 초월해 의미 군집을 보이는가를 조사하는 것.
• 복수형 성립이 단순히 고정된 '복수' 벡터를 단수어 표현에 덧붙이는 것이라는 가정을 도전하는 것.
• 의미 집합에 특화된 이동을 고려하는 의미 기반의 복수화 모델링 방법을 개발하는 것.
• 다양한 의미 벡터 예측을 사용하여 언어 이해의 계산 모델이 새로운 복수형에 얼마나 잘 일반화되는지 평가하는 것.
• 복합 분포의어미학에서 복수화에 대해 CosClassAvg와 FRACSS의 예측 능력을 비교하는 것.

제안 방법

• 저자는 대규모 코퍼스에서 복수화 패턴을 분석하기 위해 분포의어미학을 사용하여 단수 및 복수 명사 형태의 단어 임베딩을 추출한다.
• t-SNE 시각화와 WordNet 기반의 의미 군집화를 적용하여 과일, 동물, 도구 등의 의미 집합(예: 과일, 동물, 도구)을 식별하며, 이러한 집합들이 별개의 복수화 패턴을 보임을 확인한다.
• 새로운 방법인 CosClassAvg를 도입하며, 동일한 의미 집합 내의 단수어 임베딩을 코사인 유사도로 가중 평균하여 복수의 의미 벡터를 계산한다.
• 이 방법은 복수화를 각 명사 집합에 특화된 의미 이동으로 모델링하며, 고정된 벡터 덧셈이 아닌 방식을 취한다.
• CosClassAvg의 성능을 복합 분포의어미학 방법인 FRACSS와 비교하며, 코퍼스에서 추출한 복수 벡터와의 방향 및 길이 유사도를 사용한다.
• 모델링 연구를 통해 CosClassAvg로 생성된 벡터를 기반으로 청취자 모델이 새로운 복수형에 얼마나 잘 일반화되는지 평가하며, 삼음절 기반의 단어 형태 표현을 사용한다.

실험 결과

연구 질문

• RQ1 영어 명사 복수형은 특정 의미 집합(예: 과일)의 복수화가 서로 더 유사하고 다른 집합보다 더 유사한가? 즉, 의미 군집이 존재하는가?
• RQ2 분포의어미학에서 복수형 성립이 고정된 '복수' 벡터를 덧붙이는 것으로 가정하는 것은 복수형 성립의 의미 이동을 과소평가하는가?
• RQ3 의미 집합에 특화된 의미 이동을 모델링하는 CosClassAvg는 FRACSS에 비해 복수 벡터의 방향과 크기를 얼마나 잘 예측하는가?
• RQ4 CosClassAvg로 생성된 의미 벡터를 사용하면 계산적 청취자 모델이 새로운 복수형에 대해 얼마나 더 잘 일반화되는가?
• RQ5 CosClassAvg와 FRACSS의 예측된 의미 공간 간의 차이가 언어 이해 측면에서 행동적으로 의미 있는가?

주요 결과

• 영어 복수화에서 의미 군집은 경험적으로 확인 가능하다: 과일 단어들의 복수형은 다른 집합(예: 동물, 도구)과 다름을 보이는 별개의 의미 군집을 이룬다.
• 복수형 성립이 고정된 '복수' 벡터를 덧붙이는 것으로 가정하는 것은 부적절하다. 복수형은 명사 집합 간 체계적인 의미 변동을 보이기 때문이다.
• CosClassAvg는 FRACSS보다 코퍼스에서 추출한 복수 벡터를 더 잘 예측하며, 특히 방향과 길이를 모두 잘 맞추어 실제 분포 패턴과의 일치도가 높음을 시사한다.
• 금본 기준 벡터로 사용할 경우, CosClassAvg로 생성된 의미 벡터는 단어 형태(삼음절 벡터를 통한)에서 의미로의 매핑을 더 효과적으로 만들어내며, 새로운 복수형에 대한 일반화 성능을 향상시킨다.
• 모델링 연구를 통해 CosClassAvg와 FRACSS의 의미 공간 구조 간 차이가 계산적 언어 이해에 측정 가능한 영향을 미치며, 특히 CosClassAvg가 더 나은 일반화를 가능하게 함을 확인했다.