[논문 리뷰] sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings

Andrew Trask, Phil Michalak외 1명|arXiv (Cornell University)|2015. 11. 19.

Natural Language Processing Techniques참고 문헌 13인용 수 137

한 줄 요약

이 논문은 문맥에 맞는 임베딩을 부여하기 위해 감독형 품사 태깅을 활용하여 신경망 단어 임베딩에서 단어의 의미를 신속하고 정확하게 해소하는 sense2vec을 소개한다. 신경망 의존성 파싱에서 여섯 개의 언어에 걸쳐 무라벨 첨부 점수에서 평균 8퍼센트 이상의 오차 감소를 달성하며, 표준 단일 벡터 모델에 비해 의미 해소가 이루어진 임베딩이 문법적 파싱 성능을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Neural word representations have proven useful in Natural Language Processing (NLP) tasks due to their ability to efficiently model complex semantic and syntactic word relationships. However, most techniques model only one representation per word, despite the fact that a single word can have multiple meanings or "senses". Some techniques model words by using multiple vectors that are clustered based on context. However, recent neural approaches rarely focus on the application to a consuming NLP algorithm. Furthermore, the training process of recent word-sense models is expensive relative to single-sense embedding processes. This paper presents a novel approach which addresses these concerns by modeling multiple embeddings for each word based on supervised disambiguation, which provides a fast and accurate way for a consuming NLP model to select a sense-disambiguated embedding. We demonstrate that these embeddings can disambiguate both contrastive senses such as nominal and verbal senses as well as nuanced senses such as sarcasm. We further evaluate Part-of-Speech disambiguated embeddings on neural dependency parsing, yielding a greater than 8% average error reduction in unlabeled attachment scores across 6 languages.

연구 동기 및 목표

• 단일 초상수 벡터 모델이 여러 단어의 의미를 하나의 초상수로 혼합하여 후속 NLP 성능에 악영향을 미치는 한계를 해결하기 위해.
• 비감독 클러스터링을 감독 태깅으로 대체하여 단어의 의미 모델링의 계산 비용을 줄여 더 빠른 훈련과 추론을 가능하게 하기 위해.
• 맥락에 맞는, 의미 해소가 이루어진 단어 임베딩을 제공함으로써 신경망 문법적 파싱 성능을 향상시키기 위해.
• 의미 해소가 이루어진 임베딩이 다국어 의존성 파싱 작업에서 표준 단어 임베딩을 능가하는지 평가하기 위해.
• 감독 기반 해소가 NLP 모델에 적절한 단어 벡터를 효율적이고 효과적으로 선택하는 데 기여하는지 보여주기 위해.

제안 방법

• 이 방법은 사전에 훈련된 단어 임베딩 모델을 사용하고, 각 단어의 출현에 대해 문법적 의미를 할당하기 위해 감독형 품사 태거를 적용한다.
• 각 단어에 대해 tf-idf 가중치를 사용하여 주변 단어들의 가중 평균을 계산하여 맥락 임베딩을 산출한다.
• 이 맥락 임베딩은 단어별로 클러스터링되어 별개의 의미 프로토타입을 식별하며, 클러스터 레이블은 감독형 품사 태깅을 통해 할당된다.
• 각 단어 출현은 해당 의미 클러스터에 따라 재태깅되며, 의미별 레이블을 사용한 구조화된 스킵그램 방법을 활용해 새로운 단어 임베딩 모델이 훈련된다.
• 최종 임베딩은 기준 모델과 동일한 초모수를 사용해 훈련되어 공정한 비교가 가능하도록 보장된다.
• 이 방법은 금본 품사 태깅을 입력 인덱스로 사용하는 신경망 의존성 파서에 의미 기반 임베딩을 직접 통합한다.

실험 결과

연구 질문

• RQ1 품사 태깅을 활용한 감독 기반 의미 해소가 기존의 단일 벡터 모델에 비해 더 정확하고 효율적인 단어 임베딩을 생성할 수 있는가?
• RQ2 의미 해소가 이루어진 임베딩의 사용이 여러 언어에 걸쳐 문법적 파싱 성능 향상에 측정 가능한 기여를 하는가?
• RQ3 sense2vec의 계산 비용은 비감독 클러스터링 기반의 의미 모델에 비해 어떻게 비교되는가?
• RQ4 어떤 정도로 의미 해소가 이루어진 임베딩이 명사적 vs 동사적 또는 비꼬임과 같은 대조적이고 미묘한 의미 해석을 향상시키는가?
• RQ5 제안된 방법은 품사 태깅 외의 다른 유형의 감독 레이블로 일반화될 수 있는가?

주요 결과

• sense2vec는 의존성 파싱에서 여섯 개의 언어에 걸쳐 평균 8.52%의 오차 감소를 달성하였으며, 각 언어별로 3.98%에서 13.69%까지의 감소를 보였다.
• 스웨덴어에서는 12.71%의 오차 감소, 독일어에서는 13.69%의 오차 감소를 기록하여 형태학적으로 풍부한 언어에서 뚜렷한 성능 향상을 보였다.
• 모든 여섯 개 언어에서 기준 모델인 wang2vec 임베딩보다 우수했으며, 절대 오차 감소율은 2.47%에서 14.54%까지 다양했다.
• sense2vec 임베딩의 사용으로 불가리아어에서는 5.17%의 오차 감소, 독일어에서는 10.93%의 오차 감소를 기록하여 다양한 언어적 구조에서 일관된 성능 향상을 입증했다.
• 트리뱅크에서 잘못된 토큰을 제거한 상황에서도 높은 성능을 유지하여 실제 NLP 파ip라인에서의 강인함을 입증했다.
• 결과는 의미를 별개의 임베딩으로 분리함으로써 초상수 문제를 완화하고 후속 NLP 모델의 정확도를 향상시킨다는 것을 확인시켰다.