[논문 리뷰] Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation

Loïc Vial, Benjamin Lecouteux외 1명|arXiv (Cornell University)|2019. 05. 14.

Natural Language Processing Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 단어의 의미 해석(Word Sense Disambiguation, WSD) 시스템에서 의미 태그의 수를 줄이기 위해 WordNet의 의미 관계(예: 하위관계, 상위관계 등)를 활용하는 두 가지 의미 어휘 압축 방법을 제안한다. 핵심적인 의미들에만 집중함으로써 모델 크기를 1.2–2배 줄이고, SemCor에서 커버리지(포괄성)를 99.99%로 향상시키며, 추가 학습 데이터 없이 BERT 임베딩을 사용해 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this article, we tackle the issue of the limited quantity of manually sense annotated corpora for the task of word sense disambiguation, by exploiting the semantic relationships between senses such as synonymy, hypernymy and hyponymy, in order to compress the sense vocabulary of Princeton WordNet, and thus reduce the number of different sense tags that must be observed to disambiguate all words of the lexical database. We propose two different methods that greatly reduces the size of neural WSD models, with the benefit of improving their coverage without additional training data, and without impacting their precision. In addition to our method, we present a WSD system which relies on pre-trained BERT word vectors in order to achieve results that significantly outperform the state of the art on all WSD evaluation tasks.

연구 동기 및 목표

• 수동으로 주석이 달린 WSD 코퍼스의 부족 문제를 해결하기 위해 필요한 의미 태그 수를 줄이기 위해.
• 추가 학습 데이터 없이도 감독 기반 WSD 모델의 일반화 능력과 커버리지 성능을 향상시키기 위해.
• 압축된 의미 어휘를 사용해 근사적으로 완전한 의미 커버리지를 확보함으로써 WSD에서 백오프 전략이 필요 없도록 하기 위해.
• 사전 학습된 컨텍스트 임베딩(예: BERT)을 사용해 WSD에서 최신 기술 수준의 성능을 달성하기 위해.
• 신경 기반 WSD 시스템을 훈련하고 평가하기 위한 재사용 가능하고 문서화된 도구 및 모델 개발하기 위해.

제안 방법

• WordNet의 의미 그래프를 활용해 핵심적인 의미들—특히 상위관계 및 더 넓은 의미 관계—만을 선택하여 압축된 의미 어휘를 구성한다.
• 두 가지 압축 전략을 적용한다: 하나는 하위관계만을 기반으로 하는 것이고, 다른 하나는 모든 의미 관계(하위관계, 상위관계, 구성관계 등)를 사용하는 것이다.
• SemCor와 WordNet 설명문(WNGC)을 조합한 데이터에 대해 BERT, ELMo 또는 GloVe 임베딩을 사용해 신경 기반 WSD 모델을 훈련함으로써 문맥적 표현을 향상시킨다.
• 8개의 독립적으로 훈련된 모델을 앙상블하여 정확도와 성능을 향상시키며, 최종 예측은 클래스 확률의 평균을 취해 도출한다.
• WordNet의 의미 계층을 활용해 의미적으로 관련된 의미들을 군집화함으로써, 하나의 의미가 관련 의미 집합을 대표하도록 한다.
• 압축된 의미 어휘를 훈련 및 추론 모두에 적용하여, 원래 훈련 데이터에 등장하지 않은 단어들에 대해서도 모델이 의미를 해석할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 WordNet의 의미 관계를 활용해 의미 어휘를 압축해도 의미 해석 정확도에 영향을 주지 않게 할 수 있는가?
• RQ2 의미 어휘 압축은 미리 보지 못한 단어에 대해 감독 기반 WSD 모델의 커버리지 수준을 얼마나 향상시킬 수 있는가?
• RQ3 압축된 의미 어휘를 사용하면 성능을 유지하거나 향상시키면서도 모델 크기를 줄일 수 있는가?
• RQ4 BERT 임베딩을 의미 어휘 압축과 통합할 경우, 표준 벤치마크에서 WSD 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 WSD 시스템에서 백오프 전략의 필요성을 제거할 수 있는가?

주요 결과

• 제안된 의미 어휘 압축 방법은 WordNet의 총 의미 태그 수를 원래 크기의 6%로 줄였다.
• 압축된 의미 어휘를 사용할 경우 SemCor 훈련 코퍼스의 커버리지가 약 16%에서 99.99% 이상으로 상승했으며, 평가 세트에서 단 한 개의 단어만 누락되었다.
• WNGC(WordNet 설명문)와 결합할 경우 평가 과제에서 다의어 단어에 대해 100% 커버리지가 달성되었다.
• 하위관계 기반 압축과 앙상블을 사용할 경우 BERT 임베딩을 적용한 결과 'ALL' 과제에서 F1 스코어가 79.00%로 상승하여 이전 최신 기술 수준의 방법들을 뛰어넘었다.
• 압축된 의미 어휘 덕분에 모델 크기가 1.2–2배 감소했으며, 정밀도에 손상 없이 유지되었다.
• 제거 실험 결과, BERT 임베딩과 WNGC 데이터의 포함 여부가 성능 향상에 가장 큰 영향을 미쳤으며, 앙상블은 F1 스코어에 약 1포인트의 향상을 가져다주었다.