[논문 리뷰] Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships

Loïc Vial, Benjamin Lecouteux외 1명|arXiv (Cornell University)|2018. 11. 02.

Natural Language Processing Techniques참고 문헌 3인용 수 6

한 줄 요약

이 논문은 WordNet 내의 하위상위관계 및 상위하위관계 관계를 활용하여 의미어휘를 축소시킴으로써 신경망 기반의 단어의 의미 해석(WSD) 성능을 향상시키는 새로운 방법을 제안한다. 이는 감독 학습 시스템이 더 높은 커버리지와 일반화 능력을 확보할 수 있도록 하며, 더 적은 수의 의미 태그로도 가능하게 한다. 이 방법은 특히 모델 앙상블과 WordNet 설명어 태깅 코퍼스를 결합할 경우 성능을 크게 향상시키며, 대부분의 WSD 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

In Word Sense Disambiguation (WSD), the predominant approach generally involves a supervised system trained on sense annotated corpora. The limited quantity of such corpora however restricts the coverage and the performance of these systems. In this article, we propose a new method that solves these issues by taking advantage of the knowledge present in WordNet, and especially the hypernymy and hyponymy relationships between synsets, in order to reduce the number of different sense tags that are necessary to disambiguate all words of the lexical database. Our method leads to state of the art results on most WSD evaluation tasks, while improving the coverage of supervised systems, reducing the training time and the size of the models, without additional training data. In addition, we exhibit results that significantly outperform the state of the art when our method is combined with an ensembling technique and the addition of the WordNet Gloss Tagged as training corpus.

연구 동기 및 목표

• 희귀한 의미 태깅이 이루어진 코퍼스의 부족으로 인해 감독 학습 기반 WSD 시스템의 커버리지와 일반화 능력이 제한되는 문제를 해결하기 위해.
• WordNet 내에서 의미 태그의 수를 줄이되, 의미 해석 능력은 유지하기 위해.
• 출력 어휘를 축소시킴으로써 모델의 효율성을 높이고 성능을 훼손하지 않기 위해.
• WordNet 내의 계층적 의미 관계가 신경망 기반 WSD에서 더 나은 일반화를 위한 구조적 유도적 편향으로 기능할 수 있는지 탐색하기 위해.

제안 방법

• 이 방법은 하위상위관계 및 상위하위관계 계층을 기반으로 하여 WordNet 내의 모든 단어를 해석하기 위해 필요한 최소한의 의미 태그 집합을 식별하고 유지한다.
• 각 의미를 그 가장 일반적인 상위어(하위어)로 매핑함으로써, 세밀한 의미를 더 넓은 의미 범주로 압축한다.
• 학습 데이터(예: SemCor) 내의 의미 태그를 이러한 일반화된 태그로 재인코딩함으로써 고유 레이블의 수를 줄인다.
• 축소된 의미 어휘로 신경망 WSD 모델을 훈련시켜 훈련 속도와 모델 크기를 향상시킨다.
• 기존의 단일 모델 및 앙상블 기법을 사용하여 표준 WSD 벤치마크에서 이 방법을 평가한다.
• 이 방법은 추가적인 훈련 신호를 제공하는 WordNet 설명어 태깅 코퍼스와 조합함으로써 더욱 향상된다.

실험 결과

연구 질문

• RQ1 하위상위관계 및 상위하위관계 관계를 활용하여 WordNet 내의 의미어휘를 축소시키면 감독 학습 기반 WSD 시스템의 커버리지와 일반화 능력이 향상되는가?
• RQ2 세밀한 의미 대신 일반화된 의미 태그(하위어)를 사용하면 레이블 수가 줄어들더라도 성능이 향상되는가?
• RQ3 모델 앙상블과 추가 훈련 데이터를 결합했을 때, 제안된 방법은 최신 기술 시스템과 비교해 어떻게 성능을 냅니까?
• RQ4 WordNet의 계층적 구조에 의해 더 강하게 제약을 받는 명사에 대해서는 이 방법이 얼마나 성능을 향상시키는가?

주요 결과

• 모든 WSD 작업에서 성능을 유지하거나 향상시키면서도 의미 태그의 수를 줄여 의미 해석에 필요한 어휘를 축소시켰다.
• 커버리지가 크게 향상됨: SemCor만 사용할 경우 미태깅된 단어 수가 491개에서 91개로 감소; WordNet 설명어 태깅 코퍼스를 추가로 사용하면 126개에서 12개로 감소.
• 대부분의 WSD 평가 작업에서 최신 기술을 초월하는 성능을 달성함. 특히 모델 앙상블을 사용할 경우 두드러진 성능 향상.
• 앙상블은 의미어휘 축소의 이점을 더욱 극대화하며, 이는 이 방법이 다양한 모델 간의 예측을 안정화시킨다는 것을 시사한다.
• 대부분의 작업에서 첫 번째 의미 백오프가 거의 필요 없어지며, 커버리지가 거의 100%에 수렴함.
• 의미어휘 축소와 WordNet 설명어 태깅 코퍼스를 조합했을 때 가장 우수한 성능을 기록하였으며, 이는 이전의 최신 기술 시스템을 크게 능가함.